Les origines légendaires de l’abbaye selon une pieuse légende entretenue par les bénédictins moissagais, soucieux du prestige de leur abbaye, celle-ci aurait été fondée par Clovis en personne au lendemain d'une victoire remportée ici sur les Wisigoths, en 506. Le roi franc, ayant fait le vœu d'ériger un monastère s'il triomphait, lança du haut de la colline son javelot pour marquer l'endroit précis où s'élèverait « l'abbaye aux mille moines », en mémoire de mille de ses guerriers morts au combat. Or le javelot vint se planter au milieu d'un marais, ce qui nécessita des constructions sur pilotis. Une autre tradition, populaire, veut que Clovis ait agit sous l'impulsion d'une vision lors d'un rêve d'inspiration divine.D'ailleurs - et nous quittons ici la légende -, l'humidité qui règne dans le sous-sol de l'abbatiale Saint Pierre est en partie responsable des graves altérations qui affectent aujourd’hui les bas-reliefs du portail roman.
En réalité, à Moissac on a pu trouver des traces d'occupation romaine, colonnes classiques, pièces de monnaie, tessons et fragments de maçonnerie, mais il peut être considéré comme l'un des nombreux monastères établis dans l'Aquitaine du VII siècle avec l'appui de souverains mérovingiens, tel Dagobert, et sous l'impulsion sans doute de l'évêque de Cahors, saint Didier (630-655) appelé aussi Desiderius (ancienne forme de Didier), connu pour ses goûts de l'art et de la vie austère. On peut donc considérer que l'abbaye telle que nous la connaissons remonte au milieu du VII siècle.Les possessions de l'abbaye s'accrurent amplement par la donation d'un noble, Nizezius, de ses terres, serfs et églises.Le privilège de la protection royale fut renouvelé au début du IX siècle par Louis le Pieux, alors roi d'Aquitaine, protection remplacée bientôt par celle des comtes de Toulouse.
Mais la situation de la ville sur la grande voie de passage, routière et fluviale, reliant Bordeaux et Toulouse, la rendait particulièrement vulnérable aux invasions. Ainsi, l'abbaye fut-elle saccagée par les arabes d’al-Andalus, une première fois lorsque ceux-ci assiégèrent Toulouse, une seconde fois après leur défaite de Poitiers en 732. Un siècle plus tard, de nouveaux pillages furent le fait des pirates normands qui remontaient la Garonne puis, au X siècle, des Hongrois.
Reconstruite, elle fut de nouveau endommagée en 1030 par un écroulement du toit, par l'incedie en 1042 qui attaqua toute le ville, mais aussi par l'attitude laxiste des moines qui l'occupait : un repaire de voleurs.
Le rattachement à Cluny, par saint Odilon
En 1047, Odilon de Mercœur, de passage, nomme à la tête de l'abbaye Durand de Bredon, tout est à refaire, car théorie et pratique sont devenues très éloignées l'une de l'autre. Les moines bénédictins, en principe astreints aux travaux manuels et agricoles, se déchargent en fait de leurs corvées sur les frères convers et les serfs. Le plus grave est que, sous la direction de l'abbé Étienne, la discipline s'est considérablement relâchée. Ce personnage ne doit son siège abbatial qu'à la bienveillance de Gaubert, un seigneur local qui avait acheté l'abbaye fort cher. Soucieux de rentrer dans ses frais, il avait chargé son protégé de détourner toutes les richesses du monastère. L'abbé Durand fait construire une nouvelle église, consacrée en 1063 et travaille aussi pour l'ensemble des biens de l'abbaye.
Le choix de Moissac comme étape majeure sur le chemin de Saint-Jacques-de-Compostelle, entraîne une brillante renaissance spirituelle et artistique. Avec le grand abbé d'origine auvergnate dom Durand de Bredons (1048-1072), en même temps évêque de Toulouse, débute l'âge d'or du monastère qui étend ses possessions dans tout le Midi languedocien et jusqu'en Espagne. L'abbaye est gouvernée par de grands abbés : dom Hunaud (1072-1085), qui fut vicomte de Brulhois qui acquiert de nombreuses terres mais se trouva en butte à d'incessantes controverses ecclésiastiques et conflits avec les seigneurs voisins; dom Ansquitil, commence de bien triste façon en étant contesté par un moine qu'il évince, en représailles celui-ci soulève la ville, c'est la pape qui l'assure en sa place; il fait ériger le cloître (1115) et accueille le pape Urbain II venu consacrer le maître-autel de l'église. Et le bienheureux Roger (1115-1131), fit construire une nouvelle église à coupole dans le style de Cahors et Souillac, et c'est surement à lui que l'on doit la tour-porche et le portail avec son célèbre tympan (1135).
Le XII siècle est le plus prospère pour l'abbaye, elle contrôle alors des terres, des prieurés jusque dans le Périgord, le Roussillon, la Catalogne. Dans la hiérarchie de Cluny, l'abbé de Moissac vient en second, juste après l'abbé de Cluny. Les moines de Moissac sont plus des bâtisseurs que des copistes ou des théologiens; pourtant l'on peut voir quelques manuscrits qui ont été pour la plus-part emportés à Paris au XVIII par Foucault et se trouvent maintenant à la Bibliothèque Nationale
En 1188, la ville fut ravagée par un incendie, peut après les anglais mettent le siège à la ville qui fini par tomber. Puis vint la Croisade des Albigeois qui ravage les terres abbatiales.
À la fin du XIII siècle, les grands abbés bâtisseurs Raymond de Montpezat, puis Bertrand de Montaigu (1260-1293) peuvent relever les ruines, c'est pourquoi l'on peut relever des arcs en briques qui sont typiques de l'époque, mais leur œuvre est anéantie par la guerre de Cent Ans. Les exactions des Grandes Compagnies s'ajoutent à une épidémie de peste dans cette ville frontière, aux portes de l'Aquitaine anglaise, âprement disputée par les deux camps. À la fin du XV siècle et au commencement du XVI, la tourmente passée, Aimery de Roquemaurel (1431-1449), puis Pierre de Carmaing (1449-1483) doivent reconstruire presque entièrement leur abbatiale ruinée ; ils réalisent de grands travaux, en particulier, la partie gothique de l'abbatiale, le haut de nombreux murs, les voûtes.
En 1625, l'abbaye est sécularisée, se qui marque en grande partie son abandon.
Sous la Révolution en 1790, elle est supprimée, vendue à un citoyen patriote, qui l'offre à la ville et le cloitre et l'église en octobre 1793, le mobilier de l'église et ses vitraux, les ornements et les pièces d'orfèvrerie du Trésor, sont saccagés et livrés au pillage au cours d'une émeute.
Une garnison y stationne sous le Premier Empire, se qui ruina les pavements et les sculptures, elle sert aussi de fabrique de salpêtre.
Ce à quoi ni les exactions des soldats ni celles des émeutiers n'aboutirent, les ingénieurs du chemin de fer faillirent bien en porter la terrible responsabilité. Le cloître, qui se situait sur le tracé prévu de la ligne, devait être entièrement démoli. De multiples protestations permirent de le sauver in extremis, d'où la courbe dessinée ici par le rail, pour l'éviter. Cependant, le grand réfectoire et les cuisines des moines, au nord, furent sacrifiés. L'évènement eut le mérite d'alerter la toute jeune administration des Monuments historiques qui, sous la direction de l'architecte Viollet-le-Duc, entreprit les premiers travaux de sauvegarde.
