El Palacio Condal está formado por dos conjuntos palaciegos: el llamado Palacio Viejo o de Palacio Doña Elvira y el Palacio Nuevo. Junto al Castillo forma un conjunto que fue declarado Monumento Histórico-Artístico en el año 1923, y en el año 1931 fue integrado en la Red Nacional de Paradores de Turísmo, siendo el primer Parador levantado sobre un edificio histórico-artístico.
El Palacio Viejo, de estilo gótico mudéjar, fue levantado en el siglo XIV; y el Palacio Nuevo, de estilo Renacentista, en el siglo XV. De él destaca su artesonado original.
Consta de tres plantas, sobresaliendo en la primera siete balcones de hierro forjado con los escudos de los Condes de Oropesa y un gran patio interior que hasta hace años sirvió de coso taurino.
A la derecha aparece una construcción de planta octogonal denominado el Peinador de la Duquesa, de clara influencia italiana.
