Este palacio renacentista fue construido por don Diego de Cárdenas en 1520, quien acompañó a Carlos V cuando este hizo de Valladolid la capital del Reino de Castilla.

El motivo del nombre de este palacio es incierto, pero existe la leyenda de que junto con don Diego de Cárdenas vivía su sobrina, doña Ana Enríquez, una mujer de extraordinaria belleza. Por causas desconocidas, doña Ana fue inculpada por hereje en los Autos de Fe de 1559. Pero la carne es débil y el inquisidor que la estaba juzgando consideró que una mujer de tanta belleza no podía morir en la hoguera. Pero don Diego estaba en posesión de documentos que podían comprometer a su sobrina, así que decidió sustituir los escudos nobiliarios que presidían el palacio por un mural del Caballo de Troya, ocultando en el interior de dicho mural los documentos que inculpaban a su sobrina. Una vez ocultados los documentos, vendió el edificio que pasó a convertirse en posada con el nombre de Caballo de Troya.

Nació en Valencia aunque muy joven ingresó en la Escuela de Bellas Artes de San Fernando (Madrid).

En 1863 ocupa en Valladolid la plaza de Profesor de Dibujo, Paisaje y Acuarela de la Escuela de Bellas Artes.

En 1871 fue nombrado Director de la Escuela, después académico de la Purísima Concepción y finalmente conservador del Museo Provincial de Bellas Artes, llegando a ser considerado como un grandísimo investigador del arte en Castilla.

El Ayuntamiento actual fue inaugurado en 1908 siendo alcalde en aquel momento Miguel Íscar. Fue proyectado por Antonio Iturralde, continuando la obra a su muerte D. Enrique Repullés.

Su construcción comenzó en el año 1892, en el lugar en donde se derribó en 1879 el edificio anterior que había sido construido hacía 1561.

El edificio tiene una planta rectangular con un patio interior y cuatro torres angulares en sus esquinas. Inicialmente en el proyecto no estaba prevista una quinta torre en el centro de la fachada, pero el arquitecto quiso hacer un guiño a los consistorios de la Edad Media y la incorporó, debiendo modificar el sofisticado sistema de cubiertas de la segunda planta.

Está construido con piedra granítica y ladrillo prensado rojo y posee en su fachada principal un pórtico que hace a su vez de tribuna y sobre él, la quinta torre con el reloj.