Ce château du Moyen Âge (dont les fondations remonteraient au IX siècle) a été attaqué par les Anglais pendant la guerre de Cent ans, mais on pense qu'il ne fut jamais conquis.
Il avait été abandonné à son sort depuis au moins le XVII siècle. Pendant la Révolution française, le château et ses environs servirent un temps de refuge à Pierre de Barrau, un noble aveyronnais traqué par les autorités révolutionnaires. L'architecte Fernand Pouillon (1912-1986) le découvre en 1974 dans un état de ruine très avancé, et entreprend de le restaurer ainsi que le village. Sa restauration est exemplaire en cela qu'il est impossible de déterminer quel est l'apport moderne à ce qui n'était plus qu'un champ de ruines (Pierre de Lagarde dans l'émission "Chefs d'œuvre en péril" avait dit que vouloir restaurer le château de Belcastel équivaudrait à vouloir vider la mer à la petite cuiller". Bien qu'il ait déposé les permis de construire pour toutes les maisons en ruine du village, il n'eut le temps d'en restaurer entièrement qu'une seule au-dessus du château (modifiée depuis par les actuels propriétaires), mais il avait aussi consolidé la plupart des autres ruines du village qui furent ensuite rachetées par la commune notamment grâce à des fonds européens pour être restaurées et louées à l'année.
Cet imposant château fut la demeure de la famille de Saunhac. Il est depuis 2005 la propriété de deux galeristes new-yorkais. Il est ouvert au public du début avril jusqu'à mi-novembre. Il a reçu en 2008, 15 000 visiteurs.