Famille de Madic
Il a existé une famille de Madic.
Famille de Chabannes
Le fief entre dans la Famille de Chabannes par le mariage de Gaillarde, fille de Géraud de Mazic, avec d'Hugues de Chabannes, coseigneur de Charlus, qui est tué en 1415 à Azincourt.
C'est Gilbert de Chabannes, gouverneur très fortuné, qui fit reconstruire le château entre 1469 et 1480, utilisant pour diriger les travaux son homme d'affaire Blandin Bompart, Blandin Bompart, seigneur d'Auzers, ce qui vaudra à ce dernier d'être dispensé du ban en 1470 par Louis XI. Joachim de Chabannes naquit à Mazic en 1502. il fit sculpter les armes de la maison de Foix avec celles des Stuart, des Médicis, de Bourbon-Vendôme et de la Tour d'Auvergne. Il était aussi seigneur en Auvergne et Mimousin de Tinières, de Charlus, d'Aurières, de la Roche-Marcalam.
Bien national
Le 10 juillet 1794, le site du château de Madic a été vendu en 32 lots comme bien d'immigré. De retour de l'immigration en 1802, Jean-Frédéric de Chabannes est parvenu à racheter 31 lots, mais le dernier était à un nommé Verneghol qui ne voulut rien savoir. Il revendit donc les 31 lots à un marchand de biens, qui dût récupérer le 32 lot et l'a revendu à Antoine Gilbert.
