Le lycée va de pair avec le collège Charlemagne (ancien « petit lycée ») qui se trouve juste en face, dans la rue Charlemagne, et qui côtoie l'enceinte de Philippe Auguste dont seul le parement extérieur subsiste encore.
En 1580, le cardinal de Bourbon achète à la duchesse de Montmorency l'hôtel de la Rochepot et Damville. Il le donne aux Jésuites, qui démolissent le corps de logis situé en bordure de la rue Saint-Antoine et le remplacent par une chapelle dédiée à Saint Louis.
Les Jésuites édifient entre 1627 et 1647, sur l'enceinte de Philippe-Auguste, un bâtiment destiné à devenir leur résidence. Cette maison devient l'une des plus célèbres de l'ordre. Elle est la demeure des confesseurs des rois, dont le père de La Chaise et de prédicateurs renommés tels Bourdaloue, ou Ménestrier.
De 1762 à 1767, les bâtiments sont désertés suite à l'expulsion de la Société de Jésus sous le ministère du duc de Choiseul.
Le 23 mai 1767, les Génovéfains du Val-des-Écoliers achètent la Maison des jésuites pour 400 000 livres ; ces chanoines réguliers de la réforme de Sainte-Geneviève quittent leur prieuré de Sainte-Catherine de la Couture (qui tombe en ruines) et occupent l'ancien noviciat des Jésuites, qu'ils nomment Prieuré Royal de Saint-Louis de la Couture (ou de la culture).
Ils en louent la grande galerie bibliothèque à la ville de Paris. On y établit, de 1773 jusqu'en l'année 1790, la bibliothèque publique de la ville de Paris.
À la Révolution française, la Constituante ayant supprimé les ordres monastiques, les bâtiments servent de dépôt. Le 17 mars 1795, (27 ventôse an III) un arrêté du Directoire met la bibliothèque de la Commune à la disposition de l'Institut national des sciences et des arts, qui en pille le fond (20 à 30 000 ouvrages).
En 1797, l'ancienne maison professe des jésuites devient l'École Centrale de la rue Saint-Antoine.
La loi du 11 floréal an XI (l mai 1802), débaptise l'école centrale de la rue Saint-Antoine, qui devient le Lycée Charlemagne.
Le décret impérial du 24 brumaire an XIII manifeste la volonté d'installer le lycée près de la place des Vosges, dans la maison des Minimes ; mais le décret du 21 mars 1812 confirme son implantation et autorise l'agrandissement du lycée qui reçoit alors quatre cents pensionnaires (externes).
En 1815, il est débaptisé, et devient le Collège Royal de Charlemagne.
En 1840, il donne son nom à la rue et au passage qui le borde.
Le 28 février 1848, il reprend son nom actuel par le biais d'un arrêté du ministre provisoire de l'instruction publique.
En 1870, le couvent de l'Ave Maria, sis au n 13 de la rue Charlemagne, est démoli et sur ses ruines est construit le « petit lycée ».
Le 26 juillet 1988, l'ancienne bibliothèque ainsi que l'escalier principal font l'objet d'un classement au titre des monuments historiques et le reste du lycée d'une inscription au même titre. Le bicentenaire du lycée a été fêté en 2004.
