En su origen fueron dos viviendas de sólida construcción, posiblemente del siglo XVI, que el caballero de Alcántara Juan de Ortega Lara y Angulo aprovechó para levantar, a partir de 1702, una sola de mayores dimensiones y gran empaque.

Tras pasar por diferentes propietarios, entre ellos la familia Castro (de donde toma el nombre), albergó la Caja de Reclutamiento y Zona de Movilización de Segovia, sirviendo además de local a una academia privada constituida por oficiales destinados en Segovia.

El edificio es sede del Archivo Histórico Provincial de Segovia cuyos fondos también están catalogados como Bien de Interés de Cultural.