De 1597 à 1765, après un siècle d'existence difficile, les notables de Besançon décidèrent de confier leur collège à la compagnie de Jésus, les jésuites.
Le 26 mai 1597, ils cèdent le collège aux jésuites qui vont en assurer la direction jusqu'à la suppression de leur ordre en 1765.
Sous la Révolution française (1789-1799), le collège devient un lieu de réunion publique, et la Société des amis de la constitution, club affilé à celui des Jacobins, s'installe dans la chapelle du collège.
Au XIX siècle, le collège change de nom avec les mutations politiques françaises : il devient le collège royal sous la Restauration et la Monarchie de Juillet (1815-1848). Louis Pasteur (inventeur du vaccin contre la rage) est élève de terminale dans l'établissement comme maître d'études jusqu'en 1842. Sous le Second Empire (1852-1870), le collège redevient lycée impérial et accueille 500 élèves. Stéphane Mallarmé (un poète du XIX siècle) y enseigne de 1866 à 1867.
En 1865, l'établissement s'agrandit : la maison des Capucins et l'hôtel particulier de Grosbois sont rachetés.
Redevenu lycée de Besançon pendant la guerre franco-allemande de 1870, le collège sert d'hôpital. Durant cette guerre, de nombreux professeurs et élèves meurent. Un monument aux morts leur est consacré dans le hall d'entrée.
En 1885, le lycée prend le nom de Victor Hugo. Il est inauguré par le président de la République Jules Grévy.
Pendant la seconde guerre mondiale, le lycée connaît durant six ans, l'occupation de ses locaux (hôpital militaire en 1939, occupation allemande en juin 1940, troupes françaises et américaines à la Libération).
De 1939 à 1945, 74 élèves et membres du personnel y demeurent. Dans les années 60, sous la conduite de l'architecte Painchaux, le dernier corps de bâtiment est construit rue Girod de Chantrans.
En 1980, l'établissement perd son second cycle ; il est désormais un collège mixte : le collège du Centre ; en 1986, il change de nom et devient le collège Victor-Hugo.
En 1997, la partie la plus ancienne du collège (chapelle, cour d'honneur et escalier) est classée monument historique.
