Aunque algunos restos arqueológicos podrían remitir el origen de este edificio a época romana, la fisonomía del Torreón de Lozoya se configura entre los siglos XV y XVI, en dos momentos bien distintos que se corresponden estilísticamente con el gótico final –impregnado de influencia mudéjar- y el Renacimiento.

La construcción medieval corresponde a una casa-fortaleza, debida seguramente a la familia Cuéllar, de la que sobresalen la gran torre que da nombre y entrada al edificio, así como otra torre menor; entre ambas se abriría el primitivo patio. Todo ello debió configurar un verdadero castillo en miniatura, reflejo de los conflictivos momentos que vivió Segovia durante su Baja Edad Media.

La segunda etapa determinante en la historia de este monumento se abre en 1563, con la adquisición del inmueble por D. Francisco de Eraso, Secretario de Cámara y Consejero de Estado de Carlos I y Consejero de Hacienda e Indias de Felipe II, quien transformará el caserón medieval en un impresionante palacio renacentista, cuyos vestigios más importantes se concentran en el patio y en la galería que se dispuso para disfrutar del jardín.

El inmueble acoge actualmente las salas de exposiciones y museo de la Fundación Torreón de Lozoya.