En 1863, George Sand séjourna dans la batisse lors de la rédaction de son roman, Mademoiselle la Quintinie. Le château servit de cadre pour l'histoire. Ainsi elle écrira : « Tu connais ce beau pays de Savoie ; je ne sais pas si tu te rappelles cette localité, tout ce rivage du lac du côté qui ferme à pic la muraille dentelée appelée la chaîne des Monts du Chat (...)] De là, on domine tout le lac, long, étroit, sinueux et ressemblant à un large fleuve du nouveau monde ; mais quel fleuve a cette transparence de saphir et ces miroitements irisés ? »
Au XVI siècle, le philosophe Montaigne, à son retour d’Italie, citera la présence du château comme étant une fabrique d’armes.