El Palacio Ducal de Pastrana comenzó a construirse a instancias de los Príncipes de Éboli en 1542 con planos del arquitecto Alonso de Covarrubias. Los Príncipes nunca vieron terminado el Palacio. En vida de ambos príncipes sólo se construyó la fachada y las dos torres laterales.