Au XIV siècle la manse de Cougoussac est aménagée en château par les seigneurs de Gabrias. Cette seigneurie faisait partie des douze seigneuries du Gévaudan, qui donnait chaque année un droit d'entrée aux États particuliers du Gévaudan. Puis, à la fin du XVI siècle, le château devient une propriété de la famille Calvet, seigneurs de Fontanilles (dans les Cévennes). Cette famille, très tôt convertie au protestantisme, subit les affres des guerres de Religion, dont la répression est violente dans le pays.
En 1587, le château échoie à la famille des Retz de Bressolles. La famille de Retz, dont les origines seraient écossaises, s'est grandement implantée en Gévaudan, et les différentes branches ont acquis plusieurs seigneuries du pays. Ce sont les Retz de Bressolles qui aménagent le château, lui donnant l'aspect général conservé jusqu'à aujourd'hui.
Le château est aujourd'hui la propriété, depuis 1906, de la famille Rousset. Un programme de restauration démarré en 1996 se poursuit en 2010 avec la consolidation de la chapelle romane construite en 1622. La demeure est ouverte au public lors des journées du patrimoine.