Située entre les deux parties actuelles de la forêt de Gouffern, l'abbaye de Silly-en-Gouffern fut fondée avant 1151 par un gentilhomme angevin au service de l'impératrice Mathilde, le chevalier Drogon, « qui s'y fit chanoine et y mourut ».
L'abbaye de Silly est mentionnée dans de nombreuses chartes des XII et XIII siècles, dans lesquelles elle est appelée abbaye de Sainte-Marie de Gouffer (ou Gouffern). Elle fut très richement dotée dès l'origine, par l'impératice Mathilde, puis par son fils Henri II et son petit-fils Richard Cœur de Lion, ducs de Normandie et rois d'Angleterre, et ensuite par Philippe le Bel, roi de France.
En 1187, une colonie de chanoines de l'abbaye de Silly allèrent fonder l'abbaye de l'Isle-Dieu près de Rouen.
L'abbaye de Silly dépendait de l'évêché de Séez, et c'est d'ailleurs là que se fit enterrer, en 1228, l'évêque de Séez Gervais I de Chichester, également abbé-général des Prémontrés.
Au cours de la guerre de Cent Ans, l'abbaye fut détruite par les anglais. Elle fut reconstruite à partir de 1386.
En 1630, les religieux embrassèrent la réforme de l'ordre des Prémontrés, dite aussi « Réforme de Lorraine » ou de « l'antique rigueur », consistant à ramener les Prémontrés à l'observance (de la règle) primitive du XII siècle, équivalent chez les Prémontrés du mouvement de « l'Étroite observance » dans l'Ordre cistercien.
En 1759, M. Drouet indique à l'article « Silly » de sa version du Grand dictionnaire historique, réédition augmentée de l'ouvrage de Louis Moreri (1643-1680) dans lequel cet article n'existait pas : « Les religieux, qui y sont toujours au nombre de douze à quatorze, se proposent de renouveler entièrement leurs bâtiments, en très mauvais état, et ils ont déjà commencé. »
L'abbaye fut en grande partie détruite à la Révolution. L'église abbatiale Notre-Dame, avec nef servant d'église paroissiale Saint-Laurent, avait été décrite en 1701 : construite en carreau de Fel, avec chœur vouté, longue de 135 pieds, large de 53, avec clocher à 4 cloches. Elle fut détruite à la Révolution et reconstruite sur un plan réduit après 1806. Les bâtiments conventuels furent détruits. Il reste toutefois un logis abbatial remanié portant la date 1731.
Plusieurs évêques de Séez et plusieurs princes de sang furent enterrés à l'abbaye de Silly.