Raoul de La Futaie, ancien compagnon de Robert d'Arbrissel, est à la tête d’une communauté déjà établie dans la forêt lorsqu'il crée le monastère en 1112. Parmi les autres fondateurs, on connaît les noms de Geoffroy Gastineau et de l’ermite Aubert. Raoul, après la fondation, ne serait pas resté de façon permanente sur les lieux. Ermengarde, épouse d’Alain Fergent, est peut-être la bienfaitrice de l’abbaye.
C’est un monastère double selon les antiques traditions orientale et celtique, c’est-à-dire accueillant séparément des moniales et des moines (les « condonats »). Les moniales prennent en main le temporel, tandis que les moines assurent la direction spirituelle et les offices. Les prêtres n’entrent jamais dans l’espace de vie des moniales, pas même pour administrer les derniers sacrements : les mourantes sont conduites dans le chœur de l’église pour les y recevoir. Les deux communautés sont réunies sous l’autorité de l’abbesse.
« La première abbesse dont on sache le nom » serait, selon Dom Lobineau, Marie de Blois, fille d’Étienne d'Angleterre, et ce, jusqu’en 1156. Il est difficile de retracer le parcours chaotique de Marie de Blois, tant les sources sont confuses et contradictoires. Marie aurait un jour quitté l’abbaye pour l’Angleterre, en compagnie de sept religieuses. Le groupe aurait été admis dans le monastère de Stratford at Bow (Middlesex). La cohabitation se révélant difficile entre religieuses insulaires et continentales, les parents de Marie auraient créé pour elle un nouveau monastère à Lillechurch (ou Lilleherche, aujourd’hui Higham, dans le Kent), dépendance de Notre-Dame du Nid-au-Merle. Marie serait ensuite devenue abbesse de Romsey, et c’est à Romsey qu’elle aurait été enlevée par Mathieu d'Alsace.
L’abbesse relève non pas de l’évêque de Rennes, mais directement du Saint-Siège. En moins d’un demi-siècle, une trentaine de prieurés dépendant de l’abbaye sont fondés en Bretagne, en Anjou, dans le Maine, dans le Poitou et en Angleterre, lui assurant un fort rayonnement. Très puissante, l’abbaye a droit de haute justice. Elle a un auditoire, des prisons, des fourches patibulaires à quatre poteaux. Elle a des halles, une grange dîmière, des moulins et un grand colombier.
Elle décline après le rattachement de la Bretagne à la France, et connaît de grandes épreuves : des incendies (1556, 1651, 1701), la peste (1583), la guerre de religion (1595), la famine (1661) et les ravages de la tempête (1616). L’abbesse la plus connue de cette période est Marguerite d’Angennes (de 1609 à 1662), dont un portrait est conservé dans la salle du conseil de la mairie. On ignore quand le monastère d’hommes est supprimé, peut-être au XVIIe siècle.
La dernière abbesse est Marie Le Maistre de La Garlais. À la Révolution, la communauté, qui a compté plus de 58 religieuses, n’en a plus que 26 : l’abbesse, seize religieuses nobles, huit sœurs converses roturières et une novice. Auxquelles s’ajoutent deux chapelains, 24 domestiques et treize pensionnaires, soit, au total, 65 personnes. Le 13 octobre 1792, les religieuses doivent évacuer les lieux. Après leur départ, les biens et domaines sont saisis. Ils sont vendus comme biens nationaux, le 16 août 1796. L’abbaye est alors pillée. Elle est démolie de 1835 à 1902.