El Convento de los Carmelitas está localizado en las inmediaciones del Santuario de la Virgen de la Fuencisla. El convento fue fundado por San Juan de la Cruz en 1586. Previamente San Juan de la Cruz había pasado varias temporadas en Segovia como confesor de las Madres Carmelitas.

San Juan de la Cruz falleció en Úbeda en 1591. Tiempo después su féretro fue trasladado a Segovia donde se venera en el interior de la Iglesia. 

En la Iglesia destaca un retablo mayor compuesto con nueve cuadros inspirados en la obra poética de San Juan de La Cruz y realizados por el Carmelita mexicano Gerardo López Bonilla, con motivo de la visita que hiciera Juan Pablo II en 1982.