La BIUM est originairement la bibliothèque de l'ancienne Faculté de médecine de Paris, créée au Moyen Âge et installée rue de la Bûcherie puis rue Saint-Jean-de-Beauvais. La faculté est supprimée en 1793, mais une École de santé est établie par la Convention en 1794 et s'installe dans l'ancienne Académie de chirurgie, dans un bâtiment construit par Jacques Gondouin.
Dispersées au moment de la fermeture de la faculté, les collections sont reconstituées par le chirurgien et bibliothécaire Pierre Süe qui y joint les fonds de l'ancienne Académie de chirurgie, ceux de la Société royale de Médecine et enfin d'autres pris dans les dépôts littéraires de la capitale.
Durant tout le XIX siècle et une grande partie du XX siècle jusqu'au début des années 1970, la bibliothèque constitue la Bibliothèque de la Faculté de médecine de Paris et ses fonds continuent de s'accroître.
Elle connaît ensuite les conséquences de l'éclatement de l'Université de Paris mais, restant la plus importante bibliothèque universitaire médicale, elle est intégrée en 1972 dans la bibliothèque interuniversitaire C en vertu du décret n 72-132 du 10 février. En 1978, elle retrouve une autonomie sous le nom de Bibliothèque interuniversitaire de médecine suite au décret n 78-1122 du 16 novembre.
Ce site est desservi par la station de métro Odéon.
La BIUM est implantée dans l'ancienne Faculté de médecine de Paris, rue de l'École-de-Médecine, dans le trapèze formé par cette dernière, la rue Hautefeuille, le boulevard Saint-Germain et la place Henri-Mondor. Ces locaux abritent la présidence de l'Université Paris Descartes (services administratifs, financiers, etc.), ainsi que le Musée d'histoire de la médecine et de l'art dentaire.