Il est réputé pour son célèbre fantôme, Lucie, une belle et jeune domestique d'à peine 18 ans (issue d'une famille noble désargentée) qui fut courtisée par le Baron de l’époque, Guy de Daillon (vers 1560), qui était déjà marié à Jacqueline de La Fayette. Alors que ce dernier était parti guerroyer, la Baronne, jalouse, en profita pour jeter Lucie dans la prison de la tour dite "mal coiffée", située au saillant sud-est de la forteresse. La jeune fille y mourut de faim, de froid et de peur. Depuis, elle revient certaines nuits errer sur le chemin de ronde.
L'engouement pour ces phénomènes durant les années 1980 amena de nombreux curieux, dont une équipe de France Inter dans la nuit du 4 août 1984, dirigée par le journaliste Jean-Yves Casgha, spécialiste des reportages sur le paranormal, pour l'émission « Boulevard de l'étrange ». Accompagnée d'un médium et de sa petite-fille (alors âgée d'une dizaine d'années), l'équipe aurait été témoin de l’apparition de la dame blanche dans les hauteurs du château et aurait même conservé des traces tangibles de sa rencontre avec Lucie : une photographie et des enregistrements sonores (qui n'ont pu trouver à ce jour d'explication scientifique).