La première mention attestée d'un évêque à Rouen remonte à l'an 314. Mais cette date, un an après l'autorisation du culte chrétien dans l'Empire romain, semble trop précoce pour imaginer l'existence d'un édifice religieux. Par contre, quelques dizaine d'années plus tard, un sermon de l'évêque Victrice daté d'environ 395/396 sous-entend la présence d'une cathédrale dans la cité et évoque la construction d'une basilique à proximité. En 1986, les fouilles menées par l'archéologue Jacques Le Maho ont permis de confirmer l'existence de cette dernière église. Elle se trouvait quelques dizaines de mètres au nord de la cathédrale actuelle. Comme beaucoup d'autres villes métropolitaines paléochrétiennes, le groupe épiscopal de Rouen se composait donc d'au moins deux églises :
- un édifice principal dédié à Notre-Dame, implanté à l'endroit de la cathédrale actuelle ;
- une église martyriale, dédiée peut-être à saint Étienne, (aujourd'hui la cour d'Albane) ;
- probablement un baptistère entre les deux.
Un de ses éléments les plus remarquables est sa façade occidentale, encadrée de deux tours dissemblables : la tour Saint-Romain et la tour « de Beurre ». En 1954, l'archéologue Georges Lanfry ouvrit un sondage au niveau de la dernière travée de la nef afin justement de découvrir l'antique église Notre-Dame. En fait, il mit au jour une crypte plus tardive, de l'époque carolingienne. À la lumière de cette découverte, on suppose que Notre-Dame était en ce temps un édifice bien plus petit qu'aujourd'hui (60 m de long ?).
Au IX siècle, on procéda à plusieurs réaménagements (palais épiscopal, logement canonial, ajout d'un Westwerk à l'église martyriale) mais en 841, l'incendie de Rouen par les Vikings détruisit le groupe cathédral. L'ensemble semble remis en état d'une façon provisoire en attendant le retour de la paix dans la région. Au X siècle, après le Traité de Saint-Clair-sur-Epte (en 911), Rouen devint la capitale du jeune duché de Normandie, le chef viking Rollon aurait reçu le baptême en 912 (sous le nom Robert) dans la basilique primitive. Nécropole des premiers ducs, la cathédrale bénéficia d'importants travaux. Vers 1030, l'archevêque Robert le Danois reconstruisit le chœur en style roman et inséra une crypte en dessous. Grâce à des fouilles archéologiques menées vers 1938-1939, Georges Lanfry a pu dégager le plan oriental de l'église : un déambulatoire faisait le tour du chœur et ouvrait sur trois chapelles absidiales. Un autre archevêque, Maurille (1055-1067), acheva le chantier ainsi que la reconstruction de la nef. Malgré la construction de la cathédrale gothique ensuite, la crypte qui abritait sûrement les reliques de la Vierge, subsiste et peut se visiter.
En somme, on peut déterminer trois états successifs du monument :
Des fouilles récentes ont montré qu'un premier sanctuaire à double nef a été construit sur le site de la cathédrale actuelle à la fin du IV siècle. La basilique fut détruite lors des invasions normandes.
Les travaux de la cathédrale romane débutèrent vers 1020, sous l'épiscopat de Robert d'Évreux. Le vaisseau central reprenait l'emplacement de la nef sud de la basilique primitive. Il ne reste actuellement qu'une crypte, correspondant aux fondations du chœur de la cathédrale romane.