L'abbaye de Vaucelles fut édifiée sur un terrain cédé par Hugues d'Oisy, seigneur de Oisy et Crèvecœur, Châtelain de Cambrai. La première pierre en fut posée le 1 août 1132 par Bernard de Clairvaux.
Elle constitue la treizième fondation de ce père de l'église.
Sa construction s'est étalée sur de nombreuses années, par l'ajout successif de bâtiments. À son apogée, elle possédait la plus grande église cistercienne d'Europe.
Des reliques furent confiées à la garde des pères abbés, telle une épine de la couronne du Christ confiée par Saint Louis en 1257.
Succédant à une première construction romane à chevet plat (plan dit claravallien ou bernardin) élevée de 1140 à 1149 et détruite en 1190, l'église abbatiale gothique accusait des dimensions hors du commun (longueur : 137 m, transept : 64 m). Elle possédait un chœur à déambulatoire, mis au jour lors des fouilles de 1988, et des chapelles rayonnantes. Vaucelles surpassait toutes les grandes cathédrales gothiques d'Île de France, de Picardie et de Champagne : la plus vaste église de l'Ordre de Cîteaux était ici. L’abbé Godescale fut, du reste, destitué de son siège abbatial par le chapitre général et l'abbé de Clairvaux fut même puni pour avoir autorisé ce chantier peu conforme aux principes édictés par les fondateurs de l'ordre : simplicité et pauvreté.
Dès le début du XII siècle, deux cloîtres existaient. Le petit, celui du noviciat, et l'infirmerie 1179 ou cloître de la conservation ; le grand cloître, celui des moines de chœur 1204. L'abbé Guillaume de Gand (1252-1261) commença et acheva la reconstruction de ce grand cloître sur un plan plus spacieux. Le 39 abbé, Jean d'Epinoy (1482-1492) le fit réparer, grâce aux quêtes réalisées dans les environs par les religieux eux-mêmes. Les dévastations du XVI siècle obligèrent l'abbé Gilles de Noblecourt à faire réconcilier l’église, le cloître et son préau en présence du visiteur de Clairvaux. Au XVII siècle, des réparations considérables concernèrent encore l'église et le cloître. Au XVIII siècle, sous l'abbatiat de Bruno Platel (1741-1753), l’abbé de Clairvaux en personne, Pierre Mayeur remarquait le manque d'entretien des bâtiments.
Les démolitions du début du XVIII siècle provoquèrent l'entassement d'une énorme quantité de gravats auxquels ont doit sans doute le niveau du sol actuel (+1,50 m). Le maître autel, en marbre de Carrare a été utilisé par les révolutionnaires pour le culte de la Raison ; il fut transporté par la suite dans le chœur de l'église Saint-Géry de Cambrai. Certains ouvrages de la bibliothèque, qui comptait 40 000 volumes en 1257, sont conservés à Cambrai.
L'abbaye fut presque totalement détruite à la Révolution, et au début du XX siècle.
