Le château abrite la collection des 200 maquettes de bateaux réalisées par l'écrivain hobereau, qui, petit-fils d'amiral, et fils d'officier de Marine, n'avait pu suivre la même carrière, navigua dans le monde des lettres. Cette demeure restée familiale est également le siège de l'association pour la création du Musée Jean de La Varende, créée en août 2000.