L'abbaye a été fondée en 1050 par Herluin de Conteville et son épouse Arlette, mère de Guillaume le Conquérant. Herluin, victime de la lèpre, vit apparaitre en songe la Vierge, qui lui conseilla une cure thermale à la source d'un ruisseau de Grestain, au lieu-dit Carbec, « le ruisseau de Kari ». Guéri, il décida d'édifier, dans la vallée de la Vilaine proche, une abbaye dédiée à Marie et une chapelle à Carbec, lieu encore consacré à la source guérisseuse de saint-Méen.
Son fils Robert de Mortain, comte de Mortain, demi-frère de Guillaume le Conquérant, en est le principal bienfaiteur, la dotant richement avec des revenus en Angleterre.
Les Bénédictins issus de l'Abbaye de Saint-Wandrille qui l'occuperont pendant 740 ans ne se firent jamais remarquer par une vie religieuse assidue. Ils passaient beaucoup plus de temps à la pêche et à la chasse qu'à la prière. On raconte même que le pape dut leur adresser une semonce, lorsqu'un des abbés eut la réputation de s'intéresser davantage aux belles normandes qu'à la dévotion à Marie.
En 1358, l’abbaye est pillée par les Anglo-Navarrais. Les moines se réfugient à leur maison refuge à Rouen, dans la paroisse Saint-Eloi. Du 15 novembre 1364 au 10 août 1365, l’abbaye est prise à nouveau. Au retour des moines, l’abbaye est en partie détruite « presque rasée au niveau du sol ».
L’abbaye est officiellement fermée en 1757 sur ordre de l’évêché. Les bâtiments et l’église sont démolis vers 1766. De cette abbaye détruite en 1790, il ne subsiste que des vestiges, intégrés au château de La Pommeraye (propriété privée) : mur d'enceinte, portail du XIII siècle, logis abbatial XVIII siècle avec rez-de-chaussée XIII siècle, vestiges de l'église.
Un monument a été élevé à la mémoire de ses créateurs qui ont été enterrés dans l'église aujourd'hui disparue : Arlette, Herluin, Robert de Mortain, ainsi que l'épouse de Robert, Mathilde de Montgommery.