Dépouillé, les bâtiments abandonnés tombent progressivement en ruine qui seront emportées par l'installation du chemin de fer d'Orléans en 1839. Les beaux communs de Gabriel seront utilisés par la faïencerie Boulenger jusqu'à sa fermeture et ne disparaîtront que dans les années 1960, avec les vestiges du Petit château alors retrouvés par Georges Poisson. Conservateur du musée de l'Ile-de-France, ce dernier après une campagne de presse propose à la ville le transfert des façades du Petit château dans le parc de Sceaux (à l'instar de celles du pavillon de Hanovre). D'abord envisagée, la municipalité après de longs atermoiements, ne donnera pas suite à cette proposition de sauvegarde. Elle ne s'opposera pas à la destruction de ces vestiges afin de laisser s'édifier un grand projet d'urbanisme inspiré des théories de Le Corbusier.
Madame de Pompadour fait de fréquents séjours à Choisy à partir de 1746, et aura un appartement au première étage au-dessus de celui du Roi. Des archives et des mémoires ont permis de reconstituer en partie la vie de Louis XV, de la marquise de Pompadour et d'une partie de la cour dans le château de Choisy, pour l'occasion nouvellement aménagé au goût du roi et de sa maîtresse, bienfaitrice des arts, des sciences et des lettres. Il était donné notamment des soupers fins, avec une trentaine d'invités, parfois plus, où les convives donnaient libre cours à leur désir et à leur goût en matière de cuisine et de gastronomie. Le service en effet était « à la française », c'est-à-dire avec de trois à cinq services où étaient présentés à chaque fois plusieurs dizaines de plats différents répartis sur les tables. Le vin qui n'était jamais présent sur la table (comme les verres) était servi « à la demande », puisque le convives avaient la possibilité de demander aux quelques valets présents de les servir ou de choisir des vins disponibles ou encore en cave. Très différents du protocole accompagnant les repas officiels du château de Versailles, ces soupers participent à l'essor de la cuisine et de la gastronomie moderne, à l'origine de la cuisine française telle qu'elle est encore aujourd'hui célébrée en France et à l'étrange : produits de qualité (écrevisses), poissons, volailles, gibiers et viandes de boucherie (veau, bœuf, agneau), cuisine au beurre, légumes verts, fruits de saison, cuisine simple mais inventive, cuissons réduites, cuisine bourgeoise, art de la table, confort, calme et volupté. L'art de la conversation sans pour autant tomber dans la rhétorique et les jeux de mots se marie ici aux arts de la table au service des plaisirs des convives.... Paradoxalement, c'étaient les jours en maigre, lorsqu'il n'y avait que des produits de la mer ou de rivière à table que ces repas étaient les plus luxueux et probablement les plus fins (turbots, truites, esturgeons, bars, écrevisses...).
Il existe un article universitaire relativement exhaustif et complet qui présente à la fois le cadre (le Château, le roi, la marquise et leurs convives) et ces soupers, en mettant l'accent justement sur la partie maigre. Cette recherche a été réalisée sous la direction de Daniel Roche, professeur au Collège de France, spécialiste du XVIIIe siècle et de la culture matérielle, et de Jean-Louis Flandrin, directeur d'études à l'École des Hautes-Etudes en Sciences Sociales, spécialiste de l'histoire de la sexualité et de l'alimentation. Ce sont les serres de Choisy qui on fait connaître l'ananas en France.
Louis XVI utilisera de moins en moins Choisy jusqu'à ordonner son démeublement en 1787. Pendant la Révolution, le château devient bien national, le roi conservant à son usage le Petit château. Il semble qu'un marchand de matériaux se porte acquéreur de certains lots afin d'en extraire les matériaux les plus vendables. Ne réglant pas son acquisition, il en est chassé. Les précieux décors intérieurs n'auraient été démantelés que sous l'Empire, époque bien indifférente aux boiseries Louis XV dont on ne retrouve pas la trace.