Este edificio cuya denominación varía en función de las fuentes consultadas (Palacio de Cascales, Aspiroz o del Conde de Alpuente), fue construido en el último tercio del siglo XV por Alonso Cascales, poderoso caballero segoviano.

Destacan al exterior unos espléndidos ventanales geminados gótico-flamígeros labrados en pizarra (dos de ellos, los de la derecha, añadidos en los primeros años del siglo XX) y la portada adintelada, acceso que sustituyó al anterior que, de ladrillo y formando un buen arco de herradura, muestra cómo el palacio fue construido sobre un edificio de tipo árabe.

Tras el zaguán acodado encontramos un espacio de reducidas dimensiones que se hace aún más angosto por la descomunal altura de los soportes que forman tres lados porticados. Son siete columnas de granito que tienen como particularidad que las dos que forman ángulo ostentan en su capitel ochavado el escudo de Cascales, siendo además su fuste de mayor grosor que el del resto.

En la actualidad el patio está cubierto mediante una artística vidriera firmada por Carlos Muñoz de Pablos y aún conserva el brocal del pozo y es la sede del Servicio Territorial de Movilidad y Transformación Digital de la Junta de Castilla y León.