Esta hermandad es el resultado de la unión que dos cofradías netamente gremiales hacen cuando ya dicha actividad carece de vigencia.

Eran las de San Andrés , con Capilla y Hospital propios de su gremio -los alarifes y constructores en general, que tenia aprobadas sus reglas en 1601; y la de los Panaderos, fundada en Santa Lucia, en 1590, que tenia como imagen capital la Virgen de Regla, patrona de los panaderos de la ciudad .

Al cerrarse la Iglesia donde residía en 1868, la cofradía ya en franca decadencia , tiene que guardar los enseres en un almacén, perdiendo la mayor parte de ellos en la inundación de 1876.

Fue una de las tres cofradías que concurrió al desfile procesional organizado en loor de D. José Bonaparte, renunciando a salir dicho año el resto de las hermandades de penitencia existentes.