De style transitionnel entre architecture romano-byzantine et gothique, elle est construite entre 1150 et 1220 sous forme de croix latine à 3 nefs : c’est la plus grande, et une des plus belles, de Franche-Comté.
De 105 mètres de long et de 54 mètres de large au niveau du transept, elle possède une voûte à 22 mètres ; des rosaces ornent la façade et le transept, et 50 fenêtres laissent passer la lumière. Sept chapelles entourent le maître-autel, de lui séparées par huit colonnes et une boiserie en chêne de 4 mètres de haut. Le clocher est situé au centre du transept.
L’église sert de modèle à la cathédrale de Langres et à l’abbaye d’Acey. Le cloître ancien est un carré, constitué de 4 fois 10 arcades.
La décadence s’accentue dans le monastère, avec les abus liés à la commende.
En avril 1569 les allemands de Guillaume de Nassau viennent à la rescousse des protestants français, sous la direction de Wolfgang de Bavière, duc des Deux-Ponts. Le baron de Savigny, seigneur de Saint-Rémy incendie le cloître. Les tombeaux sont profanés.
En mai 1569, il ne reste de l’abbaye que l’église, quoique incendiée ; les champs sont dévastés, les fermiers réduits à l’aumône.
Le monastère restera désert pendant 30 ans. En février 1595, le lorrain de Tremblecourt ravage tout. En 1598 sept religieux sont envoyés de Cîteaux.
L’abbé Ferdinand de Rye s’attache à faire restituer à Cherlieu la plupart de ses titres et biens, augurant une période de calme. Une croix visible de nos jours y fait référence, construite en 1613.
En 1636, lors de la guerre de 10 ans, les Français s’abattent sur le monastère ; en 1637 se sont les Suédois de Bernard de Saxe-Weimar, puis à nouveau les Français de Du Hallier (maréchal de l'Hôpital) en 1641. L’abbaye est dévastée, elle ne compte plus que huit religieux.