Fundado en 1527 por don Alonso de Mendoza como hospital de Nuestra Señora de la Concepción, mantuvo sus usos hospitalarios hasta mediados del siglo XX. Durante la década de 1980 el Ayuntamiento se hizo cargo de su rehabilitación para convertirlo en centro de Servicios Sociales.

El Hospitalillo de San José es un edificio de dos alturas que presenta dos fachadas distintas, de las cuales destaca la principal. Tiene una puerta de acceso de medio punto sobre la que se sitúa un balcón y un frontón mixtilíneo decorado con una hornacina que alberga la imagen de San José. Como es habitual en gran parte de los edificios castellanos de siglo XVI, tanto los vanos como las esquinas están rematados con ladrillo visto. Pero el elemento más singular de este edificio es el patio interior adintelado de dos alturas. En él, los primitivos pies de madera de la planta inferior fueron sustituidos por columnas toscanas de piedra, mientras que en la planta superior se conservaron los apeos de madera, así como una interesante balaustrada realizada en el mismo material. La actual distribución del espacio interior carece de unidad arquitectónica, debido a las sucesivas adaptaciones funcionales que ha sufrido. Sin embargo, conserva la capilla coronada por una linterna, en la que destaca un pequeño retablo del siglo XVIII, decorado con columnas torsas y con las tallas de San José con el Niño, una Piedad y un Ecce Homo.