À l'origine, il s'agissait de deux maisons solidement construites, datant peut-être du XVIe siècle, que le chevalier d'Alcántara Juan de Ortega Lara y Angulo décida d'utiliser pour construire, à partir de 1702, une seule maison plus grande et plus imposante. Il souhaitait ainsi élever le rang de sa famille et permettre sa prospérité à la cour du monarque qu'il avait soutenu pendant la guerre de Succession d'Espagne, l'archiduc Charles de Habsbourg, le futur empereur Charles VI. 

Suite à la défaite de l'archiduc, le chevalier tombe en disgrâce et le bâtiment passe finalement à l'Artillerie, qui l'utilise comme caserne. 

Après avoir connu différents propriétaires, dont la famille Castro (qui lui a donné son nom), le bâtiment a abrité la Zone de Recrutement et de Mobilisation de Ségovie, ainsi qu'une académie privée pour officiers en poste à Ségovie. 

Le bâtiment est aujourd’hui le siège des Archives historiques provinciales de Ségovie, dont les collections sont également cataloguées comme Bien d'intérêt culturel.