De la création de l'évêché le 18 février 1318 à sa suppression par la révolution le 22 juillet 1790, il y a eu 35 évêques qui ont dirigé l'institution. Le plus connu fut Nicolas Pavillon qui a exercé pendant 40 ans de 1637 à 1677, il est aussi connu pour avoir été un soutien au mouvement Janséniste.
Lors de la construction du CD 118 qui scella le sort du bâtiment, la route amputa l'édifice de 4 des 5 absides rayonnantes et gothiques; perdant leurs appuis originels, des pans entiers de mur s'écroulèrent au fil du temps.
Ce n’est qu’en 1903 que les premiers travaux de restauration et de mise en valeur seront entrepris et en 1947 que les vestiges seront dégagés dans leur présentation actuelle. Une récente opération de consolidation a permis de sauver le chœur roman, la partie la plus antique du monument.
Les restes de l'abbaye ont fait l'objet d'un classement à l'inventaire du patrimoine des monuments historiques en 1922 (le 18 février pour la porte, le 25 mars pour les autres éléments) sous la référence PA00102514, pour la salle capitulaire, la chapelle, le cloître, les baies, les murs et la porte d'entrée.