Este edificio civil fue construido por el arquitecto francés Jaime Marquet, bajo encargo de Fernando VI, para albergar las caballerizas y habitaciones de servidumbre de la reina Bárbara de Braganza. Las obras se prolongarían hasta el reinado de Carlos III, quien lo destinaría al servicio de su madre Isabel de Farnesio.

El palacio, modelo de arquitectura tardobarroca de lenguaje contenido, cercano al noeclasicismo, adquiere gran envergadura, ocupando la totalidad de una gran manzana situada junto a la antigua plaza del mercado de abastos. En sus fachadas simétricas destacan los dos huecos de acceso organizados en forma de portadas adinteladas con embocaduras molduradas realizadas en sillería de piedra.

 El 1808 el edificio quedó muy dañado tras un incendio, perdiendo la cubierta y los forjados del primer piso, por lo que tuvo que ser reedificado años después por orden de Fernando VII. En 1886 la reina regente María Cristina lo destina a colegio de huérfanas de Infantería, uso que mantendría hasta 1972, momento en que se abandona y se vende, produciéndose un proceso de expolio y destrucción de elementos y revestimientos valiosos. A finales del siglo pasado se llevaron a cabo obras de rehabilitación, en las que se modificó la distribución de los espacios interiores, manteniendo la disposición de los patios, para transformarlo en un Centro Cultural dotado de auditorio, biblioteca, archivo y sala de exposiciones.