D'après l'abbé Angot, la chapelle, dotée par François d'Arquenay en 1423, fut « décrétée le 5 avril 1429 ». Construite, puis bénite sous le vocable de saint Jacques, elle était d'abord chargée de quatre messes par semaine. Ces quatre messes furent portées à six par une nouvelle fondation de Lancelotte d'Hauteville, en juillet 1550. On demandait la conservation de ce sanctuaire en 1804.
La terre de Champfleury fut érigée en châtellenie en 1578. Elle englobait alors les seigneuries des paroisses d'Arquenay, Le Bignon et Maisoncelles. Propriété de la famille d'Arquenay dès 1418, le domaine échut à la famille d'Angennes, en 1567, à la suite du mariage de Julienne d'Arquenay (alors âgée de 15 ans) avec Nicolas d'Angenne.
En 1652, Philippe de Bouillé, comte de Créance, et son épouse, Maris du Bois, achetèrent le château et les seigneuries annexes. Julien Chaudet, sieur de l'Étang, maître d'hôtel à Champfleury, y fut assassiné dans sa chambre par un domestique le 7 mars 1660.
Saisie en 1682; à la requête de Jean-Baptiste Colbert, ministre d'État, la châtellenie fut acquise, le 9 mai 1692, par Hyacinthe de Quatrebarbes, marquis de la Rongère et seigneur de Saint-Denis-du-Maine.
Mais en 1708, une nouvelle vente permettait à Champfleury de devenir la propriété de René-François de Farcy, seigneur de Pont-Farcy, passant ainsi dans la famille de Farcy . On note parmi ses membres notables Camille-François-Philippe de Farcy.
A la suite de l'émigration de François-Annibal de Farcy, cette terre fut partiellement mise en vente comme bien national, le 7 thermidor An IV.
Jambe-d'Argent, le 28 septembre 1794, vient s'aboucher dans ses murs avec Monsieur Jacques. Le château fut aussi l'un des centres d'action du soulèvement de 1832. A cette époque, Camille de Farcy en était le châtelain.