Ne se visite pas.
La plupart des familles qui ont successivement possédé le château sont des familles marquantes de la ville d'Aurillac. Carbonnat était une terre dépendant de la seigneurie de Conros. Astorg d'Orlhac l'engagea en 1232 auprès de Géraud d'Auzolles, bourgeois d'Aurillac. Plus tard, au XVIe siècle, le fief semble être passé sous la dépendance directe directe des vicomtes de Carlat.
Les terres environnantes furent vendues en 1308 à un riche bourgeois d'Aurillac, Géraud de Pouzols, qui acheta des rents à Delphine de La Tour, dame de Conros. Mais c'est un de ses descendant, appelé également Géraud de Pouzols, bourgeois d'Aurillac anobli en 1371, qui y fait construire le premier château. Son fils Antoine, qui est lieutenant au bailliage ducal des Montagnes d'Auvergne, a un fils Louis de Pouzols, seigneur de Carbonat, qui épousa Jeanne de Monjou et qui l'habite en 1503. Son fils Antoine, qui en était seigneur en 1507, était très riche et avait acheté le vieux château de La Peyre en Jordanne, de Brandélis de Gontaut, alors seigneur de Conros.
En 1569, le sire de Carbonnat reçut une commission de M. de Saint-Hérem, gouverneur des Montagnes d'Auvergne, pour arrêter les entreprises des exactions calvinistes pour prendre la ville d'Aurillac et piller le pays; il lui donna le commandement de Carlat. En 1577, une bataille entre catholiques et réformés se déroula dans la vallée de la Cère, sous les murs du château; Louis de Bresons fut tué.
Claude de Pouzols, seigneur de Carbonat avait des dettes et la terre de Carbonat fut vendue sur décret en 1657, et adjugé à Charles de Montvallat, qui subroja en 1666 Henri de Saint-Martial, baron de Conros. Ce dernier le revendit en 1673 à Guy de Passefons, conseiller à la Cour des aides de Montauban.
La famille de Pouzols portait "D'azur au lion d'or au chef de gueules chargé d'une fleur de lys d'or entre deux coquilles d'argent."
Les Passefons sont issus de la bourgeoisie d'Aurillac où ils ont longtemps occupé des charges de judicature au bailliage et présidial de cette ville.
Les plus connus sont:
La famille de Passefons, devenue Passefons de Carbonat, a possédé le château pendant plus de 200 ans, jusqu'à la fin du XIXe siècle.
Des problèmes financiers et une remise en cause de leur titre de noblesse les amenèrent à céder leur propriété.