Diseñado en 1682 por Antonio Rodríguez y concluido por Leonardo de Figueroa en el solar de la residencia del Obispo de Marruecos, fue sede del Colegio de Mareantes, donde estudió Bécquer.

Alcanza su esplendor con los Duques de Montpensier que, huyendo de la Revolución del 1848, vienen a España, a cuyo trono aspiran, alejándolos el gobierno de los asuntos de Estado, por lo que se confinan en Sevilla. En 1850 se adquiere y procede a su restauración. Se le encarga a Balbino Marrón, el cual toma como modelo el de Neuilly, donde vivió Montpensier.

La fachada norte se arregla con diseño de Barradas y se remata en 1895 con las estatuas de Antonio Susillo.

El momento apoteósico lo experimenta en la visita real en 1862 con la estancia allí de la Reina. Sus herederos lo donarían a la mitra para el establecimiento del Seminario Conciliar , y hoy día se procede a nuevo remozamiento .