Fondation
Elle est consécutive aux incursion des Normands qui saccagent en 849 l'abbaye de Paunat en Périgord. Dix des moines conduits par leur abbé Adalgasius s'enfuient dans le Rouergue pour refonder une abbaye. En 862, le comte de Toulouse Raymond Ier leur donne ses terres de Vabres pour fonder une abbaye bénédictine sous la direction de l'abbé Adalgise. Son fils Héribert dit le Bénédictin, y prend l'habit de moine, et succédera comme abbé à Adalgasius. Le moine Georges deviendra par la suite évêque de Lodève.
On trouve peu après comme abbé, Frédélon (+932), fils d'Amblard Gorges de Millau, vicomte (vicarius et vassal d'Ermengaud, comte de Rouergue) de Rouergue et de Sénégonde, petite fille de Frédélon comte de Toulouse (+852).
Construction de l'abbaye
L'abbaye passe sous la tutelle de l'abbaye Saint-Victor de Marseille.
Destruction par les calvinistes
Pendant les guerres de religion, en 1568, les bandes armées de Jacques de Crussol d'Uzès prennnent Vabres d'assaut, pillent le monastère et la ville, rançonnent les habitants, brûlent toutes les archives, volent tous les trésors et les métaux précieux, puis détruisent la cathédrale, le Palais épiscopal , et la cité. L'année suivante, ce sera le tour de l'abbaye d'Aurillac.
