En dehors de la légende de Chantereyne, l'objet de la fondation de l'abbaye par l'Emperesse est incertain, le chartrier originel ayant été détruit lors des pillages successifs durant la Guerre de Cent ans. Les auteurs lui affectent la volonté soit de raviver le vœu fait par ses grands-parents, Guillaume et Mathilde de Normandie, de bâtir une collégiale pour la guérison du duc de Normandie, soit de pallier la faible spiritualité des moines de celle-ci. Gustave Dupont note une donation de terre faite à SM de Voto en 1122 à Aurigny, qui prouverait l'antériorité de la fondation de l'établissement cherbourgeois aux larges dons de Mathilde, mentionnée comme fondatrice en 1145 dans tous les documents officiels.
Le choix du lieu, la croûte du Homet, presqu'île marécageuse arrosée par les ruisseaux de la Bucaille et de Chantereyne, à un kilomètre au nord-ouest de la forteresse de Cherbourg, est tout aussi énigmatique.
Cette création ou refondation s'inscrit dans le mouvement de construction de nombreuses abbayes par les ducs et les grands barons normands entre 911 et 1204. Mathilde fonde elle-même deux autres abbayes, à Valasse et à Silly-en-Gouffern (Orne), également dédiées à la Vierge, dans le cadre de l'important culte marial de l'époque, et se fait enterrer à Notre-Dame du Bec qu'elle a richement doté.
Suite à cette fondation ou refondation de 1145, Mathilde y installe en 1160 une communauté de chanoines réguliers de saint Augustin issus de l’abbaye Saint-Victor de Paris, et meurt à Rouen en 1166, avant l'achèvement des travaux. Son fils, le roi Henri II Plantagenêt assiste aux côtés de son épouse Aliénor d’Aquitaine à la consécration de l'abbaye en 1181 et l'unit au monastère arrouaisien de Saint-Hélier, de Jersey en 1187 pour accroître sa puissance. La construction des bâtiments selon le plan bénédictin s'étale ensuite sur plusieurs siècles (église, cuisines et cellier au XIIe siècle, réfectoire et salle capitulaire au XIIIe siècle). Le cloître, élément central de l'abbaye bénédictine, à l'est, et l'église, au nord, sont achevés en 1181. Le couple royal, Henri II d'Angleterre, fils de Mathilde, et Aliénor d'Aquitaine, son épouse, assistent à la consécration de l'église cette même année.
Victor Le Sens décrit ainsi les armoiries de l'abbaye : « mi parti d'azur à une fleur de lis d'or et de gueules à une tour du même et coupé au pont à quatre arches d'or avec la mer de sinople ; la crosse mise en pal derrière l'écu et le tout surmonté de la couronne de baron. ».
La fleur de lys évoque que l'abbaye était royale, tandis que la tour renvoie aux droits seigneuriaux exercés par l'abbé sur ses terres. Le Sens voit dans le pont une évocation du caractère insulaire de la croûte du Homet, l'« île d'Oulme », où a été bâtie l'abbaye. La couronne indique le titre de l'abbé de baron de Cherbourg, de Sainte-Geneviève et de Neuville, et la crosse se réfère à son droit de porter mitre, crosse et anneau.
Le blason se trouvait peint sur la porte principale de la salle abbatiale. Il a été reproduit par l'architecte de la ville de Cherbourg Geufroy, sur le manteau de l'ancienne cheminée de l'appartement de l'abbé et sur les statues d'albâtre de la Vierge et de saint Augustin provenant de l'abbaye et déposées en l'église Notre-Dame du Vœu.
Le sceau datant du XVe siècle portait quant à lui une fleur de lys, un château fortifié et un pont avec cette légende : S. baillive oblig abbie de Voto.