Au XIIe siècle, les moines de l'abbaye des Vaux-de-Cernay, avaient défriché les forêts et asséché les marais. Le premier seigneur du lieu fut Jean de Saint-Germain en 1282. La famille des Saint-Germain fut alliée à la famille de Saint-Yon. Un acte de 1397 mentionne un manoir féodal, dont on ne sait rien.
Au XVe siècle, les deux seigneuries appartenaient à une même famille. Quand Antoine de Vigeais hérita de son père Jean, les maisons étaient en ruines, les fermiers avaient disparu. Antoine remit de l'ordre dans le domaine et construisit le deuxième château du Marais. Un inventaire de 1507 décrit un bâtiment peu important qui fut acheté en 1516 par Jean Hurault, conseiller au parlement de Paris, qui le fit agrandir et fit planter le parc. Le domaine resta dans cette famille jusqu'en 1706.
Au XVIIe siècle, vers 1620, fut construit le troisième château dont il ne subsiste que les communs, aujourd'hui transformés en musée.
Au début du XVIIIe siècle, le domaine est acquis par Pierre Henry Lemaître, qui exécute des réparations importantes, employant probablement son architecte, François Debias-Aubry.
Le 5 septembre 1767, ses héritiers le vendent pour plus de 600 000 livres à Jean Le Maître de La Martinière, trésorier général de l'artillerie et du génie de 1758 à 1774; selon l'acte d'acquisition, « La terre du Marais a un très beau château bâti à la moderne, composé d'un grand corps de logis entre cour et jardin. »
Pourtant, Le Maître fait raser l'édifice en 1772 pour faire construire un nouveau château par l'architecte Jean-Benoît-Vincent Barré. Les travaux sont exécutés entre 1772 et 1779. On dit que « pour être sûr d'avoir du neuf », le propriétaire alla jusqu'à faire détruire les matériaux provenant dela démolition de l'ancien château.
L'importance des travaux, les sommes considérables dépensées, le faste de la construction stupéfièrent les contemporains, tel le marquis de Bombelles qui nota dans son Journal : « Un homme qui, toute sa vie, était resté au milieu d'une grande fortune, extrêmement modeste, s'est tout à coup laissé aller à bâtir un château qui pourrait suffire à un prince de sang royal. Barré [...] s'est emparé de la confiance de M. Le Maître et lui a élevé des édifices dont la dépense passe, dit-on, de beaucoup la somme de deux millions. »
A la mort de Jean Le Maître de La Martinière en avril 1783, sa nièce, Adélaïde Prévost (1755-1844), par son mariage Mme de La Briche, belle-mère de Mathieu Louis Molé, devient propriétaire du en 1785, après négociation avec les autres héritiers, et y reçoit des hommes de lettres et des hommes politiques. À sa mort, son héritage est recueilli par son gendre, le comte Molé, puis passe à la petite-fille de celui-ci, Clotilde de La Ferté-Meun (1831-1931), épouse en 1851 de Jules Charles Victurnien de Noailles (1826-1895), 4e duc d'Ayen puis 7e duc de Noailles.
En 1897, le château est racheté à la duchesse de Noailles par le comte Boniface de Castellane (dit Boni) (1867-1932), qui a épousé une richissime héritière américaine, Anna Gould (1875-1961). Boni de Castellane fait dessiner par le paysagiste Achille Duchêne les remarquables jardins à la française.
Après leur divorce, Anna Gould conserve le château et se remarie avec Hélie de Talleyrand-Périgord (1858-1937), prince de Sagan. Le château passe ensuite à leur fille, Violette de Talleyrand-Périgord (1915-2003), duchesse de Sagan, épouse en premières noces du comte James de Pourtalès (1911-1996), puis en secondes noces de Gaston Palewski (1901-1984), ancien directeur de cabinet du général de Gaulle. À sa mort, le château passe à sa fille, Anna Frottier de Bagneux et à son fils cadet, le comte Charles-Maurice de Pourtalès (V. Famille de Pourtalès).