Si la fondation de l’abbaye Sainte-Geneviève de Paris remonte au VI siècle, l'existence d'une bibliothèque n'est attestée qu'au XII siècle, avec un manuscrit, aujourd'hui à la bibliothèque municipale de Soissons, portant son ex-libris. Au siècle suivant un catalogue fait état de 226 volumes. Mais l'abbaye connaît une certaine décadence au XVI siècle, qui entraîne la dispersion des collections.
C'est le cardinal de La Rochefoucauld, évêque de Senlis, entré en possession de l'abbaye en 1619, qui réinstitue véritablement la bibliothèque en 1624, à laquelle, après un dépôt initial de 600 volumes, il lègue l'ensemble de ses collections et archives personnelles en 1640. Les collections s'accroissent ensuite jusqu'à la Révolution, sous l'impulsion de ses bibliothécaires successifs, et s'enrichit de nombreux dons : notamment de Gabriel Naudé en 1653, et surtout, en 1710, celui de l'archevêque de Reims, Charles-Maurice Le Tellier, qui lègue sa collection de manuscrits et environ 16 000 volumes, parmi lesquels 500 volumes à l'origine des collections de l'actuelle Bibliothèque nordique. Avec ce fonds Le Tellier a également été introduite la classification alphabétique de Nicolas Clément, encore partiellement en usage de nos jours.
Au XVIII siècle la bibliothèque est, parmi les premières à Paris, ouverte au public. La seconde moitié du siècle est marquée par la personnalité de son bibliothécaire, le père Alexandre-Guy Pingré (1711-1796), membre de l'Académie des sciences, qui accroît considérablement les collections scientifiques de Sainte-Geneviève. En outre, c’est à son entregent que la bibliothèque, devenue propriété nationale en 1789 avec l’abbaye, doit d’avoir survécu à celle-ci et échappé à la dispersion de ses collections. Elle bénéficie au contraire, comme la Bibliothèque nationale et quelques autres établissements, des confiscations révolutionnaires et des prises de guerre napoléoniennes, s’enrichissant d’une sélection d’environ 20 000 ouvrages de provenances variées.
Rebaptisée Bibliothèque du Panthéon jusqu’à la Restauration, elle passe, à la mort de Pingré, sous l’autorité de l’administrateur Pierre Daunou, qui lance l’établissement du catalogue des incunables (publié seulement à la fin du siècle), puis celui du catalogue général (en 33 volumes). À cette époque, la bibliothèque bénéficie toujours de dons réguliers, et pour pallier la faiblesse de ses crédits, devient, par décret royal en 1828, attributaire d'un exemplaire du dépôt légal en théologie, philosophie, droit, médecine et sciences, ce qui lui permet de mieux répondre à sa double vocation de bibliothèque publique et universitaire.
Cependant, elle est à l'étroit dans des locaux vétustes, au dernier étage de l'ancienne abbaye devenue lycée. En 1842 elle est installée, à titre provisoire, dans une partie de l'ancien collège de Montaigu, devenu hôpital, puis prison, et destiné à la démolition dans le cadre de l’aménagement de la place du Panthéon. La nouvelle bibliothèque est édifiée à son emplacement de 1843 à 1850, et inaugurée le 4 février 1851.
En 1925, elle est rattachée à la Réunion des bibliothèques nationales de Paris (regroupant également la Bibliothèque nationale, l'Arsenal, et la Mazarine). Cependant, dès 1930, elle est rattachée à l'Université de Paris, et devient interuniversitaire en 1972.
L'édifice de la bibliothèque, avec ses aménagements et décors d'origine, a été classé au titre des monuments historiques par un arrêté du 3 septembre 1992.
