Levantado por los Marqueses de Quintanar en los siglos XV-XVI. Interesante decoración de arcos y yelmos en la puerta de acceso. Característico patio segoviano con columnas blasonadas. Escalera interior imperial hacia las estancias superiores. Sombrillas y techos decorados con papel pintado del siglo XVIII. 

Desde 1949 fue Escuela Normal de Maestros y posteriormente Conservatorio de Música. En periodo estival, residencia de jóvenes pintores pensionados. Centro de Arte y Diseño de la Junta de Castilla y León.