Datant des premières croisades, Rochebrune était une ancienne place fortifiée stratégiquement située au carrefour des routes de Limoges, Angoulême et Poitiers.
La première tour fut édifiée par Jourdain I avant que celui-ci ne parte pour Jérusalem et n’y meure en 1099. Les trois autres tours n’apparurent qu’un siècle plus tard. Les murs de chacune d’elles, épais de deux mètres, sont percés de meurtrières dont les angles de vue cumulés ne laissent aucun angle mort aux défenseurs du lieu.
Les descendants de Jourdain I augmentèrent peu à peu l’édifice pour lui donner son volume actuel. En 1561, à l’époque des guerres de religions, le château échut à Blaise de Lasseran de Massencome dit Blaise de Montluc, Maréchal de France, catholique fervent et vaillant pourfendeur des protestants. Rochebrune, Chabanais et Confolens défendaient alors la région contre les protestants remontant du sud.
Après qu'il eut été incendié par les protestants en 1569, c’est la belle-fille de Montluc qui rendit le château habitable en perçant les façades d’ouvertures qui amènent de la lumière. En effet, les murs ne supportaient alors qu’un chemin de ronde reliant les quatre tours. Les fenêtres furent rapidement agrandies par le marquis de Seignelay, fils de Colbert, le ministre de Louis XIV. Pour rendre la demeure plus agréable, le pont-levis fut remplacé au XVIIIème par l’actuel passage.
En 1805, le comte Pierre Dupont de l'Étang, général d’empire, officier de Napoléon, acquiert Rochebrune. Son petit-fils, sans descendance, le laissera à son cousin, le comte de Richemont, ancêtre de l’actuel propriétaire.