La Casita del Infante, o Casita de Arriba, es otro palacete de recreo construido por Juan de Villanueva a instancias de Carlos III, en este caso para el Infante Gabriel. Situado en el camino de Robledo, dentro de la finca de la Herrería, se trata de una pequeña edificación de inspiración palladiana emplazada en el centro de un hermoso jardín francés.

La fachada principal está formada por una portada central de sillería con dos columnas jónicas flanqueadas por dos grandes machones salientes que contienen sendas ventanas en arco. En la parte superior, un entablamento con friso curvo y cornisa se extiende al resto de fachadas. A ambos lados se sitúan dos paños de sillería de granito revocados, a excepción de las esquinas, las portadas, el entablamento, y los recercados de los vanos. Esta misma composición se repite en la fachada posterior y en las laterales. Sobre la cornisa se dispone una cubierta de zinc a cuatro aguas interrumpidas por los áticos y por la cima de la cúpula, cuyos óculos dan luz a la sala central.

El salón central es de planta cuadrada, de doble altura y cubierto por una cúpula octogonal pintada con alegorías de la música. Fue construido con una buena acústica para albergar los conciertos en los que se reunían a escuchar música los allegados del infante bajo la dirección artística del compositor Antonio Soler. Pinturas de inspiración pompeyana en los techos de sus salas, colecciones de relojes, porcelanas, lámparas y numerosos cuadros constituyen los principales motivos ornamentales del interior.

Los jardines exteriores responden a un estilo neoclásico, con setos de boj trazados según un preciso dibujo geométrico. Parterres de rosas y una arboleda de grandes coníferas completan el conjunto.