Esta hermandad fue antiguamente una cofradía de gloria establecida en el Baratillo, en pleno Arenal sus comienzos se pueden datar a finales del siglo XVII, labrándose su capilla en 1694.

La Dolorosa, que sale bajo palio, es de Fernández Andrés de 1926, la otra Virgen es de Pizarro de la Cruz, labrando su Cristo Luis Ortega.

Tuvo esta hermandad su momento culmen hacia la segunda década del siglo XVIII, cuando perteneció y trabajo por ella el celebre Fray Isidoro de Sevilla, el que fuera predicador y escritor sacro y fundara la devoción a la Divina Pastora.

En 1893, un grupo de devotos del barrio establecen de nuevo la Hermandad, ya como Hermandad de Penitencia. El Palio, que ahora se llama de la Caridad en su Soledad, adquiere este nuevo nombre en honor al hospital de su barrio, al que se vincula.