C'est un élégant château Louis XIII aux fenêtres largement ouvertes sur une cour au Sud et une cour au Nord, ce qui est une nouveauté pour l’époque. En 1670, Le Vau réalise l’élévation de deux ailes de part et d’autre de la façade, à l'est une orangerie, à l’Ouest une salle de bal ou salon de musique. La façade sud est longue de 100 mètres. Le Nôtre, paysagiste de Versailles, dessine alors le parc à la française sur plus de 30 hectares.
Jacques de Beynaguet de Pennautier, amateur et artistique éclairé, embellit le château de collections de tableaux et objets. Entre 1835 et 1850, son fils Rodolphe lance une nouvelle phase de travaux du château et l’agrandit encore en comblant la cour centrale et en rénovant l’intérieur avec notamment des sols de mosaïques à l’italienne. Il redessine le parc à l’anglaise selon la mode de l’époque. En 1910, Paule de Pennautier, dernière fille à porter le nom, reprend le flambeau. Après son mariage avec le Comte Christian de Lorgeril, gentilhomme breton, elle entreprend, dès 1920, une vaste rénovation qui conduira notamment à la suppression de l’aile Nord-Est endommagée par un incendie.
Leurs descendants, le Comte et la Comtesse Nicolas de Lorgeril, ont très récemment entrepris une rénovation de tout le château pour lui permettre d'accueillir des réceptions et d'être un centre d'accueil de séminaires d'entreprises.