Construction
En 1310 naît au château de Grizac en Gévaudan (aujourd'hui commune du Pont-de-Montvert) Guillaume de Grimoard, fils dd'autre Guillaume de Grimoard, seigneur de Bellegarde, et d'Amphélyse de Sabran, dame de Montferrand. Le 13 septembre 1362 meurt Innocent VI, cinquième pape en Avignon. Et c'est un moine, ce Guillaume de Grimoard qui est élu pour lui succéder. Il prendra alors le nom d'Urbain V.
Lors d'une bulle pontificale en décembre 1363, Urbain V décide d'édifier une collégiale sur le tombeau de ses parents, non loin de Bédouès, sur le promontoire schisteux dominant le Tarn. La bulle précisait que 6 chanoines-prêtres, un diacre et un sous-diacre devaient s'y installer. C'est ainsi qu'en 1365 que les premiers chanoines arrivent. Ils sont alors chargés de célébrer l'office.
Rapidement, la collégiale est fortifiée. Ainsi elle est ornée de quatre tours et agrémentée d'une muraille, lui donnant les aspects d'un château fort. Ces fortifications permettaient ainsi de créer un refuge pour les habitants de la paroisse en cas de conflit.
Guerres de religions
En 1580, pendant les guerres de religions successives au massacre de la Saint-Barthélémy, le capitaine huguenot Matthieu Merle s'empare de la collégiale fortifiée. Il tue alors les chanoines qui auraient été jetés vivant dans le puits, pille leurs biens, et détruit une partie de la collégiale.
Depuis la Révolution française
Une fois la paix revenue, la collégiale est reconstruite, mais elle subit de nouvelles destructions durant la Révolution française. Au cours du XIX siècle, l'évêché la fait réparer à nouveau.