Bien que certains vestiges archéologiques puissent faire remonter l'origine de cet édifice à l'époque romaine, l'aspect de la Tour de Lozoya se dessine entre les XVe et XVIe siècles, à deux époques très différentes qui correspondent stylistiquement au gothique tardif - imprégné d'influence mudéjar- et à la Renaissance. 

La construction médiévale correspond à une maison-forteresse, probablement réalisée par la famille Cuéllar, dont on distingue la grande tour, par où l’on entre, et qui donne également son nom à l'édifice, ainsi qu'une autre tour plus petite. Entre les deux s'ouvrait une cour. Le tout devait constituer un véritable petit château, reflet des conflits que Ségovie dut traverser à la fin du Moyen Âge. 

La deuxième étape décisive de l'histoire de ce monument commence en 1563, avec l'acquisition du bâtiment par D. Francisco de Eraso, secrétaire de la Chambre et conseiller d'État de Charles Ier et conseiller du Trésor et des Indes de Philippe II, qui transforme la demeure médiévale en un impressionnant palais de la Renaissance, dont les vestiges les plus importants se trouvent dans la cour et la galerie, aménagée pour jouir du jardin. 

Le bâtiment abrite actuellement des salles d'exposition et le musée de la Fondation Torreón de Lozoya (museo de la Fundación Torreón de Lozoya).