Angélique Arnaud, abbesse de Port-Royal, foyer du mouvement janséniste, décide en 1625, d'installer rue du Faubourg-Saint-Jacques, une annexe du monastère de Port-Royal-des-Champs. Des liens très étroits se nouent avec la paroisse de Saint-Jacques-du-Haut-Pas qui jouera un rôle important dans la diffusion du jansénisme. Jean Duvergier de Hauranne, abbé de Saint-Cyran (1581-1643), y a été inhumé et son tombeau devient rapidement un lieu de pèlerinage important.
La duchesse de Longueville (1619-1679), Anne Geneviève de Bourbon-Condé, sœur du Grand-Condé et protectrice de Port-Royal offre des dons substantiels pour l'édification du bâtiment. Après sa mort, ses restes seront inhumés à Port-Royal-des-Champs, et quand l'abbaye sera détruite, son cœur sera déposé dans la chapelle de Saint-Jacques-du-Haut-Pas.
Les travaux peuvent donc reprendre en 1675 grâce à elle. L'architecte sélectionné Daniel Gittard, qui a entre autres déjà construit le chœur de l'église Saint-Sulpice, exécute des plans de la façade. Mais celle-ci ne sera pas exécutée selon ses plans. Des deux tours prévues par Gittard, une seule sera finalement construite, mais de hauteur double par rapport aux plans initiaux.
Le 6 mai 1685, les travaux principaux sont achevés. Une importante cérémonie de dédicace a lieu où prêcheront Fénelon et Fléchier.
La chapelle de la Vierge ne sera construite que quelques années plus tard suivant les plans de l'architecte Libéral Bruant, à qui l'on doit l'Hôtel des Invalides et l'Hôpital de la Salpêtrière.