Le château est démantelé au XVIIe siècle.
Le logis est épisodiquement habité jusqu'à la Révolution française. Mais dès 1750, début de la reconstruction intensive du village de Fontenoy, les remparts sont déshabillés et les pierres de taille servent à la reconstruction des hôtels.
En 1784 Marc Antoine de Voyer décrit ainsi le château :
"(la forteresse) a encore ses murs et ses portes, on a ruiné quelques tours des ouvrages extérieurs... et l'on voit encore sur les cheminées du château: J'aime qui m'aime, vive Crouy."
Le donjon sera inclus dans la vente des biens nationaux, « pour ses matériaux » stipule l'acte de vente. Le parement de pierres de taille disparaîtra quasiment complètement, les pans de murs déstabilisés seront ruinés. Les terrasses seront vendues, aplanies, et transformées en potagers.
Le XIXe siècle achève l'arrachage des pierres qui serviront à bâtir l'hôtel de ville. Enfin, certains murs, menaçant dangereusement, sont même traités à l'explosif.
En 1838, Edouard de Bazelaire donne cette description:
...je vis à mi-côte, une vieille tour carrée étalant ses murailles en ruine et ses débris épars. A ses pieds se dessinent des petits jardins qui fuient en serpenteaux...
Dans les années 1930, Monsieur Louis Olivier déplore déjà la disparition inéluctable du donjon et des ruines « que personne n'est venu au moins entretenir ».