Construido como residencia de los Arzobispos de Toledo en el interior del recinto amurallado, del que forma parte, su primera fábrica de entidad fue realizada en tiempos del Arzobispo Tenorio, quien a finales del siglo XIII edificó un castillo señorial y el sistema de defensas que, partiendo de la puerta de Madrid llega hasta la torre de palacio, conocida como torreón de Tenorio.

A partir de entonces se inicia una compleja historia de cambios y remodelaciones, en la que se irían añadiendo nuevos elementos, como el salón de Concilios –-obra de 1424 de marcado estilo gótico-mudéjar– y que culminaría en la primera mitad del siglo XVI, cuando el cardenal Fonseca encarga al arquitecto Alonso de Covarrubias la transformación del antiguo castillo medieval en un moderno palacio del Renacimiento.

A él se debe la construcción del ala occidental con sus patios, crujías y galerías abiertas, así como de la gran escalera monumental que se ubicaba en el patio de Fonseca, profusamente decorada con un sinfín de motivos ítalo-antiguos. Desafortunadamente, muchos de estos elementos fueron destruidos  a consecuencia de un devastador incendio que asoló gran parte del edificio en 1939, en el que también se perdieron las salas restauradas en el siglo XIX cuando el edificio se rehabilitó para albergar el Archivo de la Nación, así como un valioso conjunto de pinturas entre las que se encontraban obras de Juan de Borgoña, Francisco Camilo y Angelo Nardi.