La cathédrale est précédée de plusieurs édifices. Le premier est daté du IV siècle et est détruit en 666 par un incendie. Un second apparait dans les textes en 920 sous le nom de Sainte-Cécile, la patronne des musiciens. Au XIII siècle, cet édifice disparait au profit d'une cathédrale romane en pierre. Le parc municipal de Rochegude possède quelques restes des arcades de son cloître.
Le 9 mai 1792, l'évêque constitutionnel Jean-Joachim Gausserand de 1791 à 1801 demanda la démolition de la clôture du chœur et du jubé de la cathédrale. Le Directoire du Département du Tarn avait par ailleurs décidé sa destruction pour en terminer avec les superstitions de l'ancien monde. Ému par cette décision, un ingénieur et architecte local, Jean-François Mariès, écrit une lettre le 5 novembre 1792 à Roland, alors ministre de l'Intérieur :
" Monsieur le ministre, je m'empresse de vous avertir que la hache de la destruction est prête à frapper la belle cathédrale d'Albi, qui est un des plus magnifiques monuments que la piété des hommes ait élevés dans le moyen âge à la gloire de l'Être Suprême. Déjà les funestes formalités sont remplies pour la démolir et pour livrer ces précieux débris au plus offrant. Je les mets, Monsieur le minisire, ainsi que l'édifice imposant qui les renferme, sous votre protection tulélaire, puisque vous avez eu la générosité de joindre au titre de votre autorité, celui de conservateur des monumonts publics. Si nous nous arrogeons ainsi le droit d'anéantir les monuments que nous devons au génie, à la munificence et à la piété respectable de nos anciens, quel droit pouvons-nous avoir nous-mêmes à la stabilité de ceux que les événements mémorables des temps présents vont inspirer et faire surgir ? Je vous prie donc, Monsieur le ministre, d'interposer votre autorité pour empêcher qu'il ne soit porté aucune atteinte à la cathédrale d'Albi, qui est si digne d'être conservée par la sublimité de sa destination et par la majesté que les arts lui ont imprimée en y étalant la magnificence de leurs productions."
Le ministre intervint pour faire arrêter les projets de destruction. Afin de la protéger pour de bon, la cathédrale fait l'objet d'un classement au titre des monuments historiques depuis 1862.
