Enclavada en el extremo oriental del Jardín del Príncipe, donde se levantaba una antigua casa de labranza, la Casa del Labrador constituye uno de los ejemplos señeros de la arquitectura neoclásica española, superando incluso a los follies franceses de este período.

Su construcción, impulsada por Carlos IV a finales del siglo XVIII, fue proyectada por Juan de Villanueva, si bien su aspecto final debe mucho a los acabados posteriores de Isidro González Velázquez, así como a la suntuosa decoración interior desplegada por Jean-Démosthène Dugourc en los primeros años del siglo XIX.

 Su fachada principal se compone de un cuerpo frontal y dos alas laterales asimétricas que presentan sendos pórticos de arcos carpaneles sobre los que se asientan dos terrazas. Estos tres volúmenes, fachada frontal y alas, configuran un patio central cerrado al exterior por una verja de hierro forjado. Las fábricas son de piedra caliza de Colmenar con almohadillado en la planta baja y granito en los pórticos, mientras que la planta principal y ático están realizados en ladrillo rojo.

Uno de los elementos que más llama la atención es la abundante decoración. En los muros exteriores podemos encontrar hornacinas con esculturas, cartelas, escudos, motivos florales, etc., todos ello de inspiración clásica, realizados en yeso. Esta decoración también está presente en las terrazas de los cuerpos laterales y en la verja de entrada, cuyas pilastras están rematadas por bustos de personalidades grecorromanas.

Más suntuoso resulta aún el interior del edificio, distribuido en diversas estancias de marcada influencia francesa. De todas ellas destaca la Galería de Estatuas, presidida por diez bustos de emperadores romanos hallados en las excavaciones de la Villa de los Pisones en Tívoli, a los que acompañan obras barrocas del siglo XVIII realizadas en mármol de Carrara. Sus suelos incorporan fragmentos de mosaicos romanos procedentes de Mérida. Otras espacios de interés son el Salón del Rey o Sala de Billar, la Sala de la Reina, el Salón Principal o de Baile, o el Gabinete de Platino, en los que podemos encontrar frescos de Salvador Maella y de González Velázquez, tapices, relojes, muebles, así como diferentes objetos decorativos en los que abundan materiales como el bronce, la seda, el platino, el mármol o las maderas nobles.