Le château a été bâti en 1580 sur les plans de l’architecte Jean Morisson pour Nicolas Rapin, compagnon d’armes d’Henri IV et écrivain.
L’édifice est le deuxième château de la ville de Fontenay-le-Comte, le premier, un château-fort, ayant été démantelé quelques années plus tard. Il est l'un des chefs-d'œuvre de la ville, bâti durant son apogée économique et intellectuelle, François I l’ayant qualifiée de « Fontaine et source jaillissante des Beaux Esprits ».
Nicolas Rapin ne laissant aucun héritier à sa mort, le château est racheté par les missionnaires lazaristes.
Au XIX siècle, le comte de Vassé, à l’époque maire de Fontenay-le-Comte fait l’acquisition de la demeure.
En 1850 son petit-fils, Octave de Rochebrune, qui connut Viollet-Le-Duc ( eaux-fortes représentant le château de Pierrefonds), en héritera et sera à l’origine de la transformation du logis. Aquafortiste de talent, il va orner Terre-Neuve de nombreuses pièces architecturales remarquables.
Il achètera et fera remonter des éléments d'époque Renaissance du château de Coulonges-les-Royaux (appelé de nos jours Coulonges-sur-l'Autize) ainsi que du château de Chambord notamment la porte du cabinet de travail de François Ier, qui lui fut offerte par le comte de Chambord en remerciement de sa grande eau-forte représentant le château, et des boiseries ornées du "soleil rayonnant", emblème de Louis XIV.
La fille de l'aquafortiste, Élisabeth de Rochebrune, héritera du château à la mort de son père; elle épousera le comte Raoul du Fontenioux, dont les descendants habitent encore le château désormais ouvert aux visiteurs.
Les hôtes célèbres du château
La demeure du poète accueillit au fil des années de nombreux érudits. Ainsi, Nicolas Rapin y invita le Duc de Sully, Agrippa d'Aubigné, François Viète, Jacques du Fouilloux, André Tiraqueau à de nombreuses reprises.
De 1940 à 1943 le célèbre écrivain Georges Simenon loua et habita le château où il commença sa première oeuvre autobiographique, intitulée Pedigree; ce séjour est évoqué par l'historien d'art Michel Ragon dans ses souvenirs; son ami peintre Maurice de Vlaminck lui rendit plusieurs fois visite.