Siglos XIII-XV. Perteneció al mayorazgo de los Cáceres. 

La portada principal es una de las más importantes del románico civil segoviano, con arquivoltas y decoración de rosetas y motivos geométricos.

El patio posee unas curiosas columnas dobles en los ángulos, y es uno de los ejemplos más singulares de este tipo de espacios.

Contiene en las paredes de sus salones una de las dos más importantes colecciones de papeles pintados de la Real Fábrica de la Moncloa, colocados durante la reforma de que fue objeto en el siglo XIX.