L’histoire du collège de Cusset commence à l’édification de la chapelle Notre-Dame, en 1236 : une « école du chapitre » est fondée par les Bénédictines pour former les clercs. Les cours auront lieu dans la « maison des Chapelains », puis au XV siècle dans un bâtiment situé dans la rue de l’Ancien-Collège d’aujourd’hui. La tourmente révolutionnaire est fatale au collège en 1803, la municipalité ayant besoin de l’argent de son bâtiment pour racheter l’ancienne abbaye et en faire sa mairie. Un collège privé, propriété de J.-B. Durand, prendra néanmoins le relais, dans l’ancien couvent des Capucins. Il est fermé en 1814 à la chute de l’Empire, Durand étant jugé trop bonapartiste (réception de Letizia, la mère de Napoléon, pendant sa cure de 1802 à Vichy).
Le collège renaît en 1842, grâce au maire de Cusset, Annet Arloing, et à l’abbé Amable-François Bardiot qui en sera le premier principal (nom donné au directeur). La décision avait été prise, sous Louis-Philippe, le 1 septembre 1835, d’où la date de 1835 inscrite au fronton du bâtiment. Mais la construction n’a débuté qu’en mars 1838, à l’emplacement de la tour Saint-Jean (actuelle rue Wilson), sur les plans de l’architecte Hugues Rose-Beauvais. Les cours commencent effectivement le 2 octobre 1842, avec le père d’Antonin Mallat (le pharmacien-historien de Vichy) parmi les premiers élèves. L’abbé Bardiot, bachelier, est éconduit dès la fin de cette première année scolaire, pour insuffisance de diplôme. Les « principaux » sont désormais des civils.
Le collège municipal de Cusset brille dès lors par la qualité de ses élèves dont Victor Cornil, Saturnin Arloing, Jean Cornillon, Joseph Fourneris, le docteur Antoine Therre et Antonin Mallat au XIX siècle.
Dès 1854, le collège se trouve en concurrence avec le pensionnat Saint-Joseph (actuellement Lycée Saint-Pierre). Aussi le principal Cellier avait-il chargé, en 1870, le potache Antonin Mallat de copier et de faire publier (à titre de publicité) les notes des élèves, dans le journal La Semaine de Cusset, dirigé par Madame Jourdain pendant 43 ans (de 1834 à 1877).
Le 13 mai 1965, le collège de Cusset a été championne d’académie de rugby en battant le collège de Felletin 30 à 8.
Depuis 1965, la réforme des collèges en fait un vrai collège en se limitant de la sixième à la troisième ; les classes de collège sont transférées en 1970 au collège Maurice Constantin-Weyer.
Le vieux bâtiment devient un lycée professionnel avec section hôtellerie : Abel-Boisselier, nom depuis 1984. En 1999, le lycée professionnel est déplacé à Puy-Besseau, il prend le nom de Valery-Larbaud.