Le château est rebâti à partir de 1520 par un banquier italien, Bernard Salviati.
Le poème de Ronsard Mignonne, allons voir si la rose est inspiré de l'idylle entre Ronsard et Cassandre, fille de Salviati.
Durant les Guerres de religion, le poète Théodore Agrippa d'Aubigné, protestant, y trouve refuge et tombe amoureux de Diane Salviati, petite-fille de Bernard Salviati. Celle-ci le repousse cependant. Agrippa d'Aubigné fait référence à ce château dans quelques-uns des vers de ses Tragiques.
En 1638, Isabelle Salviati fait prolonger l'aile est. L'intérieur est fortement rénové par la famille Burgeat au cours du XVIII siècle.
Le domaine est acheté par Élisabeth Gastebois et traverse sans trop d'encombres la Révolution française. Il passe entre les mains de la famille Stapfer, alliée aux Burgeats, des protestants suisses de Berne. Le château fut la propriété de Philippe Albert Stapfer le célébre ministre de la République helvétique, réformateur de l'Education suisse. Le chateau abrite encore des collections de la famille Stapfer: par exemple son uniforme de ministre helvétique.
Le général Chanzy y établit son quartier général en décembre 1870, mais en est chassé par les Prussiens. Le château est vendu à l'État en 1933. Il sert à plusieurs reprises de dépôt d'archives.
Son jardin est réorganisé en 1996 par les paysagistes de l'Atelier de Paysages Bruel-Delmar associés à J. Weill, pour devenir un conservatoire d'essences fruitières. Il est labellisé « Jardin remarquable ».