Le fief est mentionné en 1102.
Famille Yzarn
Il passe ensuite à François Yzarn, qui épouse le 19 janvier 1494 Anne de Séguy, qui lui donne au moins un fils :
-
Antoine Yzarn, seigneur du Freyssinet, qui épouse le 25 janvier 1531 Gabrielle d'Hérail, fille de Vital, seigneur de Lugan et de Marquise de Morlhon, qui lui donne six enfants:
-
Madeleine d'Yzan de Freissinet, mariée à Antoine d'Arzac,
-
Vital d'Yzarn, seigneur de Frayssinet, de Comac, de Golinhac, du Nayrac, de Pruignes, et de Servières, qui épouse le 29 janvier 1564 Jeanne de Thézan, fille d'Antoine, seigneur de Montcairols, et de Marquèze de Combret, qui lui donne huit enfants. Il fait reconstruire en 1582 le logis renaissance.
-
Jeanne d'Yzarn, qui épouse Jean de Pouzols,
-
Jean d'Yzarn, dit le Capitaine Freyssinet, chef calviniste,
-
Marie Marguerite,
-
Geneviève,
-
Tristan d'Yzarn de Freissinet,
-
François Godefroi D'Yzarn de Freissinet (1663 - 1737), comte de Valady, baron de Servières, seigneur de Gonilhac, de Saint-Saturnin, de Saint-Laurens, de Muret, est fait marquis de Fraissinet en 1705. Il épouse le 26 février 1705 au château de Cropières Marie Elisabeth de Scorailles, fille d'Annet et de Charlotte de Pestels de Caylus.
Le château est pillé en 1793, son propriétaire est fusillé par les Jacobins.