La première muraille médiévale de la ville de Ségovie fut sûrement construite de la fin du XIème siècle au début du XIIème siècle; il s'agissait d'une enceinte élevée de toute urgence pour défendre la ville, après sa reconquête par Raymond de Bourgogne. La prise de Tolède (1085) avait converti Ségovie en une ville frontalière pour faire front à l'ennemi arabe du sud, d'où l'importance de ses défenses.
La plus grande partie de la muraille préservée fut élevée entre la fin du XIIème siècle et le début du XIIIème siècle. Elle disposait de quatre-vingts tours, cinq portes (dont on en conserve trois: celle-ci, la Porte de San Cebrián et celle de San Andrés) et plusieurs portillons (celui du Soleil et de la Lune, celui de San Juan, etc.).
Pour sa construction on se servit, principalement, de pierres calcaires mais on peut y observer également des pierres de taille de granit et des matériaux romains qui mettent en évidence leur réutilisation. Les éléments en brique sont dus à l´importance du mudéjar dans la ville au XIIIème siècle.
Grâce à son emplacement naturel, Ségovie est dotée de défenses naturelles qui, avec cette vaste muraille, la rendaient quasiment inexpugnable. De fait, elle ne fut jamais prise.

Neuf siècles d'histoire de la Porte de Saint-Jacques

Le premier témoignage de l´existence de cette porte nommée porte « de Rodrigo Ordóñez » date de 1122. À cette époque, la porte ne comptait qu'un étage qui accédait au chemin de ronde sur lequel s'élevait une tour cavalière aux flancs saillissant tournés vers la ville (le tout couronné par des créneaux). Entre 1247 et 1290, son nom devint celui de porte « de Santiago » en honneur à l'église de Saint-Jacques qui en était toute proche mais qui disparut en 1836.

 La porte garda son aspect durant tout le Moyen Âge et l'on conserve des documents où figurent les sommes destinées à sa restauration. À la fin de cette période, lui fut adossée, sans but précis, la petite tour circulaire orientée vers l'intérieur de la ville.
Cette porte permettait l'entrée aux voyageurs venant de Medina del Campo ou d'Arévalo et elle communiquait la ville « intra-muros » avec les faubourgs de San Marcos, la Fuencisla ou la Veracruz.

La porte est annexée à la muraille en formant un léger angle. Pour la rendre inexpugnable, elle est dotée d'une embrasure meurtrière, située à l'entrée, qui permettait de lancer des liquides et des objets sur l'ennemi. Pour compléter sa défense, il y avait deux portes à deux battants entre les deux extrémités, une herse intermédiaire (que l'on hissait et descendait) et un corps de garde (communément connu sous le nom de «taverne»). Le corps de garde, ouvert dans le mur septentrional, fut plus tard muré; il était doté de trois meurtrières qui permettaient de contrôler le passage en évitant les angles morts qui permettraient aux ennemis en puissance de pouvaient de s'approcher.

Les travaux de rénovation définitifs de la porte, dirigés par l'architecte Francisco de Mora, commencèrent à la fin du XVIème siècle et aboutirent à sa grande transformation: son aspect médiéval et son but défensif disparurent pour faire place à un aspect déterminé par sa nouvelle fonction fiscale et d´habitabilité.
La façade orientée vers la ville présente un arc de plein cintre délimité par des pierres de taille à bossage et des voussoirs en pierre sur lequel se trouve un ensemble pictural encadré par des platières maniéristes. Le reste de la façade est recouvert de mortier à la chaux orné d'un délicat sgraffite en pointes de diamant. Les ornements furent en hauteur ce qui entraîna la démolition de la tour cavalière et le scellage des merlons et des créneaux. À l'origine, la porte n´avait pas de toiture, mais en 1666 elle en fut dotée d'une à quatre versants.
En 1820 la porte était dans un tel état de ruine que la Municipalité en accorda sa détermina sa démolition qui ne se produira heureusement jamais (ce qui se reproduit en 1883).

Après avoir été laissée à l'abandon pendant une décennie, la Municipalité fait don de la porte de Saint-Jacques au Comité des Secours pour qu'elle fut utilisée comme Refuge des Pauvres vu qu´un grand nombre d´indigents avaient été chassés, dans les vallées limitrophes, des caves insalubres où ils se réfugiaient. C´est ainsi que Gomez de la Serna la connut en 1922, transformée en asile de mendiants où les hommes étaient logés à un étage et les femmes à un autre.
Entre 1938 et 1952, l'architecte municipal, F. J. Cabello Doredo dirigea un important réaménagement de l'accès à la muraille ainsi que de la tour, rendant habitable le premier étage qui fut cédé au peintre Santos Sanz pour y installer son atelier.
Pendant la deuxième moitié du XXème siècle on réalisa de nouveaux travaux de rénovation qui modifièrent à peine l'intérieur et, pratiquement en rien, l'extérieur de la tour.