La population environnante augmente, et les fidèles ont l'habitude de venir prier dans la chapelle des Bénédictins, qui s'en trouvent incommodés et exigent leur départ. L'évêque donne alors l'autorisation de construire une église accolée au couvent de Saint-Magloire. Une petite église est donc construite en 1584, succursale des paroisses Saint-Hippolyte, Saint-Benoît et Saint-Médard. Celle-ci a le chœur orienté vers l'Est, c'est-à-dire vers la rue Saint-Jacques (à l'opposé de l'église actuelle). On pénètre dans l'église en passant par le cimetière du couvent.
L'église est rapidement trop petite, et en 1630, Gaston d'Orléans, frère de Louis XIII, décide de faire exécuter d'importants travaux. Le mur du fond de l'église est démoli, son orientation est inversée et l'entrée se fait dorénavant par la rue Saint-Jacques. Les travaux vont être très lents par manque d'argent, dû à la pauvreté des paroissiens. La voûte de style gothique initialement prévue ne sera pas réalisée. Les maîtres carriers offriront gracieusement le pavé du chœur, et les ouvriers des différents corps de métier viendront travailler un jour par semaine sans solde.
Le 9 avril 1633, le Parlement, par arrêt, érige l'église en paroisse. Comme il existe déjà une église dédiée à Saint-Jacques le Majeur (de Compostelle), l'église Saint-Jacques-de-la-Boucherie, dont il ne reste plus que le clocher: la "Tour Saint-Jacques", il est décidé de dédier cette nouvelle église à Saint-Jacques le Mineur et à Saint-Philippe. Ce sont toujours les deux patrons de l'Église Saint-Jacques-du-Haut-Pas.
L'église est pillée en 1793, comme de nombreuses autres églises. En 1793, l'église fait partie des quinze églises mises à la disposition des catholiques parisiens par la Convention nationale suite à la reconnaissance de la liberté des cultes. Le curé Vincent Duval est élu curé de la paroisse par les habitants du quartier.
En 1797, la loi impose l'égal accès des édifices religieux à tous les cultes qui le demandent. Les théophilantropes demandent à pouvoir bénéficier de l'église comme lieu de réunion. L'église prend alors le nom de Temple de la Bienfaisance. Le chœur est réservé aux théophilantropes et la nef reste à la disposition des catholiques.
En 1801, suite au Concordat, sous Napoléon Ier, la paroisse reprend la totalité du bâtiment.
Jean-Denis Cochin (1726-1783) est curé de la paroisse de 1756 à 1780. Il va contribuer à renouveler la liturgie de la paroisse, mais sa principale occupation, sera l'aide aux personnes défavorisées. Il fonde un hospice destiné à recevoir les malades indigents, dont il pose la première pierre le 25 septembre 1780, dans le faubourg Saint-Jacques. Il nomme cet hospice, du nom des patrons de la paroisse, Hôpital Saint-Jacques-Saint-Philippe-du-Haut-Pas. Cet hôpital prendra le nom d'Hôpital du Sud sous la Révolution et plus tard recevra le nom de son fondateur Hôpital Cochin.
Au XIXe siècle, principalement sous la Monarchie de Juillet et sous le Second Empire, le bâtiment sobre et peu décoré dû à l'influence janséniste, va être considérablement embelli.
La Ville de Paris offre à l'église le buffet d'orgue et la chaire provenant de la chapelle Saint-Benoît-le-Bétourné, rasée en 1854 pour faire place à la nouvelle Sorbonne.
La décoration de la chapelle de la Vierge est confiée en 1868 à Auguste-Barthélemy Glaize, élève d'Achille et d'Eugène Devéria.
De nombreux tableaux et vitraux sont offerts par des familles fortunées comme la famille de Baudicour qui offre en 1835 le maître-autel qui se trouve dans le bas-côté nord et l'ensemble de la décoration de la chapelle Saint-Pierre.
On y trouve par ailleurs les tombeaux de l'astronome Jean-Dominique Cassini (1625-1712) et du mathématicien Philippe de La Hire (1640-1718).