Château du XVI siècle, Bity aurait été acheté en 1715 par Étienne de la Selve, Conseiller au Présidial de Tulle, et revendu par la famille en 1843 qui s'installa au Château de la Gane.
Léon Trotsky y séjourna de juillet 1933 à juin 1935.
Durant la Seconde Guerre mondiale, le Château de Bity servit d'infirmerie de la résistance.
Le Château de Bity fut racheté le 3 mars 1969 et restauré par le couple Chirac, après classement comme monument historique par arrêté du 3 avril 1969. Le 25 février 1982, selon le secrétaire de Mme Chirac, celle-ci n’a aucune archive du château, alors que les Selves de Sarran soutiennent que les Chirac se sont fait donner les archives du château par le conservateur local.
En 1999, Jacques Chirac y a reçu Jiang Zemin en visite privée.