Déjà au Bas-Empire et au cours de l’Antiquité tardive, il existait à cet endroit une église avec son cimetière, qui firent l'objet de fouilles entre 1907 et 1911. On suppose que la tombe de Saint Alban se trouve parmi les tombes dégagées. Cette église avait été en partie détruite par un tremblement de terre en 858.
L’existence d'une communauté monastique est attestée en tout cas dès le VIIe siècle par des épitaphes retrouvées sur le site. Alban ou Aubin de Mayence, un missionnaire grec de Naxos, ou plus probablement originaire d'Afrique du Nord, était mort à Mayence en 406 : l’abbaye fondée en 787 ou 796 par Richulf, archevêque de Mayence, fut nommée en son honneur. Mais avant même l'achèvement de cette première basilique, cet édifice fut en 794 le lieu de sépulture de la reine Fastrade, troisième épouse de Charlemagne et donatrice du monastère, et devait accueillir par la suite les dépouilles de nombreux archevêques de Mayence. Tant que l'abbaye était en construction, c’est-à-dire jusqu'au règne de Boniface, c’est à l’église Saint-Hilaire qu’on inhumait les évêques.
Le rayonnement de l'abbaye Saint-Alban sous les Carolingiens se reflète entre autres par le nombre des synodes et des bans royaux qui s'y sont tenus (813, 847, 1084 et 1182). Au Xe siècle, elle s'impose comme le cœur de la liturgie ottonienne. Entre 1022 et 1031, sous le règne de l'archevêque Aribon, le moine Eckart de Saint-Gall fonde le séminaire de l'abbaye.
Le Pontifical de Mayence (ordo coronationis) prescrit entre autres l’étiquette des cérémonies de sacre, d'onction et de couronnement. Ce Pontificale Romano-Germanicum, vraisemblablement rédigé sous le règne de Guillaume de Mayence était reconnu de toute l'Église catholique romaine. Jusqu'en 1419, date où l’abbaye Saint-Alban sera convertie en une paroisse temporelle (Ritterstift), elle est le cadre d'un cérémonial important : pour l'entrée en fonction de l'archevêque nouvellement élu par le chapitre, ce dernier doit revêtir solennellement et pour la première fois le pallium que le pape lui a envoyé depuis Rome, après que cet ornement a reposé une nuit entière sur la tombe de Saint Alban.
Le chapitre canonial de Mayence entretenait d’étroites relations avec l’abbaye Saint-Alban. Les princes archevêques des IXe siècle et Xe siècle adoptaient l'abbaye comme leur lieu de sépulture. Sous le règne d’Hildebert, en 935, les restes de dix évêques d’avant Boniface furent translatés de la basilique Saint-Hilaire en ruines à l’abbaye Saint-Alban. Lors des messes, l'abbé siégeait de droit juste derrière l'archevêque. Lors de la procession du Dimanche des Rameaux, les rameaux étaient toujours amenés depuis l'abbaye. C'est pourquoi non seulement les monnaies de la paroisse étaient frappées côté face d'un âne, mais les armoiries de la ville de Bodenheim, où le chapitre abbatial disposait de terres considérables, comportent aussi l'effigie de cet animal.
Au XIe siècle, on marqua un intérêt croissant pour la biographie du patron de l'abbaye, Alban. Aussi l’abbé Bardon chargea-t-il en 1060 l’écolâtre Gossuin de composer une Vita de Saint Alban, la Passio sancti Albani Martyris Moguntini, afin d’accroître l’audience de son institution. Un autre moine, Sigehard de Saint-Alban, élabora sur la base de l’hagiographie de Gossuin une autre Vita de Saint Alban, où il mettait en relief la décapitation du martyre. Cet aspect ne s'était encore jamais exprimé dans les représentations picturales. Un sceau du monastère daté de 1083 montre Alban avec sa tête encore sur les épaules, la main gauche sur la poitrine et la palme des martyrs dans la main droite : inspiré par l’œuvre de Sigehard, les abbés, vers la fin du XIIIe siècle, modifièrent leur sceau, où Alban apparaît désormais portant sa tête dans ses mains.
L'archevêque suivant, Baudouin de Luxembourg (1328–1336), fit fortifier les monastères Saint-Alban, Saint-Jacques et la Collégiale de Saint-Victor devant Mayence, qui se trouvaient à l’extérieur de l’enceinte de la ville. Saint-Alban et Saint-Victor disposaient déjà de tours et de fortes murailles qui remontaient à l'époque romaine ou au haut Moyen-Âge. Le clergé mayençais prenait partie pour Baudoin, ce qui signifie que ces abbayes fortifiées à l'entour de la ville représentaient en cas de conflit avec le prince une réelle menace pour les bourgeois, qui s'en défiaient. Le monastère Saint-Jacques, bâti sur le mont du même nom (cf. Citadelle de Mayence) se trouvait juste en face des fossés et de l'une des grandes portes, disposant d'un angle de tir privilégié sur les remparts. Ainsi Saint-Alban (depuis le mont éponyme), Saint-Victor au Nord du faubourg de Weisenau, et le donjon de Weisenau au sud, tenaient en respect toute la ville...
Le 10 août 1329, la chapelle et l'abbaye, entourées de solides remparts, sont détruites à la suite de l'affrontement entre les bourgeois et le prince-archevêque de Mayence, Baudouin de Luxembourg. La tour nord de la façade ouest est minée et jetée à terre. L'abbaye sera, il est vrai, reconstruite, mais elle n'aura plus la spendeur d'antan, et surtout elle sera ouverte. En 1354, l’abbé Herrmann doit renoncer à demander des mesures compensatoires à la ville.
En 1419, l’archevêque Jean II de Nassau parvient à convertir l’abbaye en collégiale (Ritterstift). Seuls les aristocrates sont désormais admis dans la congrégation. Au cours de la lutte opposant l'archevêque Diether von Isenburg et l’électeur Frédéric Ier du Palatinat en 1460, les bâtiments ne sont épargnés que parce qu'une rançon a été préalablement versée. En 1518, l’empereur Maximilien octroie aux chanoines le droit de battre monnaie, donnant cours au florin de Saint-Alban (Albansgulden).
Puis le soir du 28 août 1552, au cours de la deuxième guerre des margraves, l’abbaye Saint-Alban est pillée et incendiée par le margrave Albert de Brandebourg ; l’abbaye ne sera jamais reconstruite. Au milieu des ruines de la basilique (ipsius templi quae superant ruderibus), on édifie une chapelle, qui à son tour souffrira beaucoup des ravages de la guerre de trente ans avant d’être complètement détruite pendant le Siège de Mayence (1793). En 1802, l’abbaye de Saint-Alban est formellement dissoute par Napoléon.
Il ne reste donc rien des vestiges du monastère médiéval de nos jours. La plupart des structures, y compris la cathédrale, ont été détruites avant 1755. L’abbaye bénédictine se trouvait à l'emplacement de l'actuel Oberstadt sur le mont Saint-Alban. Les murs de l'ancienne basilique coïncidaient avec la rue Auf dem Albansberg. Mais 130 ans après sa dissolution, le culte de Saint-Alban a connu une sorte de renaissance avec la fondation de la nouvelle église Saint-Alban, première construction religieuse entreprise à Mayence après la Deuxième guerre mondiale.