Le premier seigneur de Bruzac, Hélie Flamenc, apparaît en 1040 dans un acte de donation à l'abbaye d'Uzerche. Son fils, Guy, est mentionné comme donateur au monastère de Vigeois en 1112 et 1143.
Au siècle suivant, en 1244, suite à un héritage, les frères Flamenc se partagent le site. C'est sans doute à partir de cette date que deux châteaux vont se côtoyer à Bruzac. En 1258, un litige oppose les vicomtes de Limoges et ceux de Rochechouart pour la suzeraineté de la co-seigneurie.
Guy VI, vicomte de Limoges, récupère le Bas-Bruzac et ses seigneurs, Raoul et Bernard Flamenc, entrent dans sa vassalité. Aimery IX, vicomte de Rochechouart, récupère le Haut-Bruzac et son seigneur, Hélie Flamenc. À la fin du XIII siècle, le Bas-Bruzac n'est plus aux mains des Flamenc, car il appartient désormais à un certain Hélie de Neuville.
Durant la guerre de Cent Ans, les Anglais occupent les lieux avant d'en être chassés en 1404-1405 par le seigneur d'Albret, connétable de France.
Au cours de l'année 1547, Jean de Gontrand, seigneur de Biron et de Bruzac depuis six ans, cède le Bas-Bruzac à Geoffroy de la Marthonie. Mais en 1583, le futur Henri IV le donne à son conseiller, Philippe Duplessis-Mornay et en dépossède ainsi la famille de la Marthonie. Celle-ci est de nouveau mentionnée comme propriétaire en 1667. Par mariage, le Bas-Bruzac passe à la famille du baron de Beynac, puis au comte de Bonneval - César Phœbus François - en 1764 et à la famille de Beaumont en 1773. À la Révolution française, les châteaux sont abandonnés et deviennent carrières de pierre.
