El Madrid del primer tercio del S. XIX quedaba constreñido por las murallas mandadas construir por Felipe IV, encerrando en un pequeño espacio a demasiados habitantes. Población que se vio incrementada por ser Madrid, Villa y Corte concentrando a la burguesía emergente, la aristocracia y el poder con su correspondiente aporte de riqueza.
El desarrollo económico no pudo absorber las fuertes oleadas de inmigración que llegaba a la ciudad procedente de un campo que se depauperaba como consecuencia de las reformas y desamortizaciones liberales.
En este contexto, Madrid era un hervidero de pasiones: epidemia de cólera, masas de inmigrantes y malas condiciones económicas, lo que propiciaba que se agolpasen en sus calles multitud de mendigos, niños abandonados, prostitutas…etc.
Joaquín Vizcaíno, marqués viudo de Pontejos, fue quien planteó la necesidad de establecer un nuevo recogimiento de pobres, idea que se plasma en la fundación del Asilo de Mendicidad de San Bernardino, totalmente municipal.
Este asilo se estableció en un edificio que había sido convento de los franciscanos descalzos, en el actual Paseo de Isaac Peral. Junto al asilo se crea el Depósito de Pobres, dependiente del mismo, donde se internarán todos los mendigos, naturales de Madrid o forasteros que se encuentren pidiendo limosna en los espacios públicos.
