Este inmueble fue construido por iniciativa de Felipe II, quien encargó la realización de las obras al arquitecto Juan de Herrera. En su origen fue concebido como un edificio independiente destinado a servicio del palacio, pero unido a éste mediante una galería porticada. Las obras continuarían durante el siglo XVIII, datando de esta época la parte conocida como Cuarto de los Caballeros, en cuya construcción participaron, entre otros, Pedro Caro Idrogo, Santiago Bonavía y Jaime Marquet.

A partir del siglo XIX el edificio sería destinado a usos administrativos, lo que obligaría a realizar diversas reformas, siendo especialmente significativas las que se acometieron tras el derrumbamiento del ala norte de la Casa de Oficios en el transcurso de la Guerra Civil.

El edificio se articula en torno a dos patios cuadrados y está compuesto por dos alturas de planta rectangular con fachadas de ladrillo visto y cajones de mampostería. El piso inferior presenta una galería compuesta por arcos de medio punto rebajados y pilastras, sobre la que se asienta una terraza que recorre toda la planta superior.