Sur la berge de la Seine, le duc d'Orléans fit bâtir une dépendance du château dénommée « pavillon de Sainte-Assise ». Ce pavillon vendu à Charles Louis Cadet de Gassicourt par Carvillon des Tillières en 1794, accueillit brièvement, en 1796, l'ambassadeur des États-Unis, Gouverneur Morris. Cadet de Gassicourt le céda à Dominique Beauregard dont le gendre, Philibert Rivière, édifia vers 1800 le bâtiment qui est parvenu jusqu'à nous.
En 1822, Louis Marchand, premier valet de chambre de Napoléon Ier, qui l'avait servi à Sainte-Hélène, vint s'y retirer.
Le prince Marc de Beauvau-Craon, qui entreprit de reconstituer le domaine à partir de 1827, racheta le pavillon et le prêta ou le loua. En 1855, Alexandre Dumas fils le loua et y écrivit L'Affaire Clemenceau. Le pavillon accueillit ensuite le baron Stanley ami du prince de Beauvau, en 1870, le duc de Guiche en 1875 puis le comte Horace de Choiseul-Praslin en 1876, les deux derniers étant respectivement le gendre et le beau-frère du prince Marc de Beauvau-Craon, alors propriétaire du château. De cette époque date l'appellation de « pavillon de Choiseul » donnée au pavillon.