A finales del siglo II a.C., los romanos llegaron a la ciudad, que se convirtió en un centro comercial en el oeste. Más tarde se incorporó al Imperio Romano y se construyó el mundialmente famoso Acueducto.

La teoría actual más popular sobre el origen del nombre de Segovia es una acuñación celta-latina, es decir, Sego: victoria, via: camino, senda de la victoria.

Con escasos restos arqueológicos musulmanes y el conjunto románico más rico de Europa, la ciudad fue abandonada tras la invasión musulmana y, desde finales del siglo XI, fue ocupada por Raimundo de Borgoña, yerno de Alfonso VI, y primer obispo de su reconstruida diócesis. La tesis de los historiadores, encabezada por otro francés, Pedro de Agen, cuenta con el apoyo de los que afirman que fue repoblada por cristianos procedentes del norte de la península y de más allá de los Pirineos.

La Baja Edad Media fue un periodo glorioso para Segovia. Segovia colonizó vastos territorios y sus comunidades se extendieron a ambos lados de la Sierra, donde se ubicaron importantes mezquitas judías, que finalmente se vieron obligadas a confinarse en asentamientos judíos. Esta tierra sentó las bases de una potente industria textil que alcanzaría gran renombre en siglos posteriores, lleva la impronta del arte gótico y dejó destacados monasterios y conventos. Fue, además, la corte real de la familia Trastamara.

El 13 de diciembre de 1474, Isabel fue proclamada reina católica de Castilla comenzando un reinado que fue, probablemente, el más importante de la historia de España. En los siglos XVI y XVII, familias aristocráticas y orgullosos tejedores compitieron por construir palacios en la ciudad, con patios y jardines de estilo renacentista decorados con opulenta heráldica barroca.

Sin embargo, la derrota de las ciudades castellanas en la Guerra de las Comunidades, en la que la milicia segoviana, dirigida por Juan Bravo, desempeñó un importante papel y el desplazamiento hacia el sur del centro de gravedad de la economía española tras el descubrimiento de las Américas hicieron que los Borbones se vieran obligados a abandonar tanto los emplazamientos palaciegos reales que habían construido en los alrededores -La Granja y Río Frío- como las academias de Artillería de la ciudad, que no pudieron frenar la decadencia.

El empobrecimiento subsiguiente, que no pudo contenerse en el siglo XIX, cuando Segovia sufrió la ocupación de las fuerzas francesas y carlistas, fue una de las causas principales.

La situación de Segovia no mejoró mucho en el siglo XX: La crisis económica de 1917, la dictadura de Primo de Rivera, la II República y la alteración de la situación política y económica a nivel nacional provocada por la Guerra Civil española impidieron que la economía segoviana se desarrollara lo suficiente. No fue hasta la segunda mitad del siglo XX cuando el turismo y la hostelería empezaron a crecer, lo que propició un importante desarrollo de Segovia, y en 1985 la "Ciudad Vieja de Segovia y su Acueducto" fue inscrita en la Lista del Patrimonio Mundial de la UNESCO.