D'après la légende, le château serait le cadre d'apparitions régulières d'une belle dame habillée de vert. Il s'agirait d'Éléonore de Bouillé, duchesse du Lude, qui reviendrait périodiquement visiter son domaine. De son vivant, elle avait été une belle femme, chasseresse impénitente, au point d'avoir un jour pénétré à cheval et avec ses chiens dans la chapelle de l'abbaye d'Étival-en-Charnie, ce qui lui vaudrait peut-être cet éternel purgatoire... Voici ce qu'en dit l'Abbé Angot :
« La Dame verte, comme les Dames blanches qu'on connaît ailleurs, préside aux destinées du château, montrant par des manifestations mystérieuses l'intérêt qu'elle prend aux évènements de la famille qui l'habite. »
La commune de Mézangers a donné le nom de « La Dame verte » à la rue qui mène au château.
Les seigneurs du Rocher
Guillaume Le Debuflé, 1282, 1295
Jean Le Maire, mari de Gervaisotte de Vivain, 13 juin 1398, 1418
Foulque Le Maire, 1440, 1477, époux d'Olive de Maimbier, dont la fille, Perrine Le Maire, épouse en 1470 Guillaume de Marigné
Charles Le Maire, 1477, mari de Catherine de Favières
Sa fille Madeleine Le Maire se marie avant 1488 avec
Jean de Bouillé, (voir Château de Bouillé), lequel "promet de bâtir une grange pour le curé, à condition qu'on lui abandonne la paille des dîmes paroissiales, )23 juin 1488)"; achète le 12 juin 1498 la terre de Mézangers.
François de Bouilléépouse en 1510 Marguerite de la Jaille. Grand fauconnier sous François Ier, il meurt à une date comprise entre 1538 et le 25 mai 1541; (sa veuve vivait en 1547)
René de Bouillédevient comte de Créance par son alliance avec Jacquine d'Estouteville ; meurt avant 1576
René de Bouillé, chevalier des deux Ordres du roi, capitaine de cent hommes d'armes, Conseiller d'État et privé, laissait veuve avec de nombreux enfants, en 1599, Renée de Laval, fille de Pierre Ier de Laval-Lezay, qui meurt le 18 juin 1625.
René de Bouillé, mari : 1/ de Louise de Beaumanoir, 2/ de Jacqueline de la Guiche de Saint-Géran, vend le 1er juin 1620 à Jean, son frère, ses droits à la succession de François de Bouillé, et meurt le 24 novembre 1647 au château du Rocher, demandant que son corps soit porté dans le caveau de l'église de Torcé, et son cœur déposé dans la chapelle Saint-Etienne, près du tombeau de sa mère.
Henri de Daillon, marquis d'Illiers, épouse en 1644 dans la chapelle seigneuriale, en présence de Gaspard de Daillon du Lude (ou Gaspardus), archevêque d'Albi du janvier 1635 au 25 juillet 1676 ,
Éléonore-Renée de Bouillé, unique héritière et dernière du nom qui ait possédé le manoir. "Cette grande chasseresse avait assez vivement frappé les imaginations pour qu'on la croie le prototype de la Dame verte".
Elle vendit le Rocher en 1665 à Gaston-Jean-Baptiste-Antoine de Roquelaure , duc de Roquelaure, mari de Charlotte-Marie de Daillon du Lude, sa belle-sœur.
Henri-François, duc de Foix, marié à Marie-Charlotte de Roquelaure en 1674, mourut sans postérité le 22 février 1714, quatre ans après sa femme.
Antoine Gaston de Roquelaure (1656-1738), maréchal de France, épouse le 19 mai 1683 Marie-Louise de Laval-Lezay (1657-1735); il se porte comme héritier bénéficiaire, donataire et créancier de Marie-Charlotte, sa sœur.
Benoît Eynard, grand-maître des eaux et forêts de la généralité de Tours, lui achète le domaine le 18 avril 1728. Françoise Auvray, sa veuve, morte en 1769, laisse deux filles :
Benoîte-Marie-Louise, femme de Jacques-Raymond Gallucey, marquis de l'Hôpital, comte de Saint-Mesme ;
Louise-Constance, veuve de Marcellin-François-Zacharie de Selles, Trésorier général de la marine,
qui vendirent le 10 janvier 1771 à Françoise Le Clerc des Émereaux, veuve de Pierre-Jacques-Louis-Auguste de la Ferronays, maréchal de camp.
Louis-Étienne, vicomte de la Ferronays, brigadier, commandant de Saint-Domingue, vendit de nouveau, le 16 février 1787, à M. Dubois de Beauregard, acquéreur au nom de son gendre,
Pierre-Marie-Alexis du Plessis d'Argentré qui, revenu de l'exil, embellit le Rocher ; il mourut le 15 mars 1843.
Son gendre, M. Le Gonidec de Traissan, était l'aïeul de Mme la comtesse de Beaucaire.
Aujourd'hui le château appartient à la famille d'Aviau de Ternay.