Propriété d'Olivier Le Daim, barbier de Louis XI au XV siècle, le château fut brûlé par les Espagnols en 1592 pendant les guerres de religion.
Le propriétaire obtint d'Henri IV par lettres patentes, l'autorisation d'entourer d'eau le château qu'il reconstruisit dans le style Louis XIII (brique et pierre). Propriété de M de Gaumont, parlementaire, il fut transmis par les femmes aux familles Bragelongne, Canclaux et enfin Colbert au début du XIX siècle.
En 1735, un pavillon fut construit en vis-à-vis de celui qui existait déjà et à l'identique. C'est ainsi que le château prit son aspect actuel de deux châteaux se faisant face et s'ouvrant sur un parc.
Juste avant la révolution le bâtiment d'entrée et le pont levis furent abattus et remplacés par deux élégants pavillons dans le style de l'architecte Claude Nicolas Ledoux (fin du XVIII siècle).
Au XIX siècle, les Colbert doublèrent dans sa largeur le pavillon principal et dotèrent le château d'une magnifique bibliothèque.
Au début du XX siècle, le château passa à la famille des Bourbon Busset, et le parc fut redessiné par le grand paysagiste Achille Duchêne qui sut y conjuguer le charme des parcs à l'anglaise et l'harmonie classique des jardins à la française. Ce parc composé à partir de trois perspectives comporte de nombreuses pièces d'eau, pelouses encadrées de topiaires ou plantées d'essences rares. L'académicien Jacques de Bourbon Busset vécut dans ce château où habitent aujourd'hui ses enfants, petits-enfants et arrières petits-enfants.
