Il fut construit vers 1555 à Avrillé pour Jean Girard, panetier de Henri II. L'architecte conçoit un plan grandiose, rigoureux, sévère, abandonnant le vocabulaire traditionnel de la Renaissance et annonçant déjà les beautés du classicisme.
En 1563, son propriétaire est assassiné et le chantier gigantesque abandonné. Les maîtres maçons se dispersent dans la grande région, influençant les constructions pendant plusieurs décennies.
Au XVIII siècle, le grand étang est creusé et dallé. Le comte Sylvestre du Chaffault participe à la reconstruction du château. La fenêtre garnie de pilastres à chapiteaux ioniques et surmontée d'un fronton orné de ses armoiries date de cette époque. Mais le comte, royaliste, recherché après l'arrestation de Louis XVI doit émigrer. À son retour d'exil, les républicains ont pillé le château, bûché ses armoiries et fusillé ses enfants.
Au début du XIX siècle, le marquis de Saint Denis, passionné d'agriculture développe le domaine, transforme le parc à l'anglaise et le plante d'arbres exotiques : magnolias grandi-flora, cyprès chauves, zelkovas, séquoia…
Son successeur Henri Luce de Tremont songe aussi à terminer le château mais il se contente… d'en déplacer le perron, au centre du logis sur la façade.
Il est ouvert à la visite d'avril à septembre. Le château est aujourd'hui le siège de nombreuses animations, dont le parcours de jeux-énigmes « Le château des aventuriers ».