En su origen fueron dos viviendas de sólida construcción, posiblemente del siglo XVI, que el caballero de Alcántara Juan de Ortega Lara y Angulo aprovechó para levantar, a partir de 1702, una sola de mayores dimensiones y gran empaque. Buscaba el engrandecimiento de la familia y su medro en la corte del monarca al que apoyaba durante la Guerra de Sucesión, el Archiduque Carlos de Habsburgo, futuro emperador Carlos VI.

Con la derrota del archiduque caería en desgracia y el edificio acabaría pasando al arma de Artillería, que lo utilizaría como cuartel.

Tras pasar por diferentes propietarios, albergó la Caja de Reclutamiento y Zona de Movilización de Segovia, sirviendo además de local a una academia privada constituida por oficiales destinados en Segovia.

El edificio es sede del Archivo Histórico Provincial de Segovia cuyos fondos también están catalogados como Bien de Interés de Cultural.