Los origenes de éste Palacio, se remontan al Siglo XVII; cuando por aquel entonces, los duques de Pico della Mirándola, nobles italianos; decidieron construirse un Palacio en la zona mas cortesana de la época; la confluencia del Prado viejo con la Carrera de San Jerónimo, justo enfrente del Palacio del Buen Retiro, donde Felipe IV, decidió hacer su residencia de descanso.
La cercanía a la realeza, pero también a la aristocrácia; donde se construían villas de recreo, unas zonas abiertas, donde se permitían a éstas casas-jardin, disfrutar de todo su entorno, y de la vida social. En sus proximidades, justo enfrente, podíamos encontrar el Palacio de Medinaceli (hoy, Hotel Palace), y del Palacio de los Duques de Bejar, en la cercana calle Alcalá (hoy, Banco de España).
El Palacio de Villahermosa.
Situado en un sitio muy privilegiado, en el año 1771, los duques de Villahermosa, lo adquieren como residencia habitual; realizando una profunda reforma en sus instalaciones, por parte de Antonio López Aguado (arquitecto, que realizó la Puerta de Toledo y la Fuentecilla, entre otros...). El Palacio se compone de una fachada roja de ladrillo, algo discreta, y de planta rectangular, algo irregular, con tres alturas en superficie, enmarcado con pilastras y un frontón central y distribuido en tres partes, dos al exterior y la tercera al jardín.
