Une maison forte est attestée en 1368, elle est aux mains de la famille Bocars. Par mariage elle passe dans les mains de la famille de Nourry. Toujours par le jeu des alliances, la seigneurie passe aux mains des Roger-de-Beaufort.
Elle est achetée à la fin du XV siècle par la puissante famille de Chabannes, qui transforme profondément la maison fortifiée de Vandenesse en un puissant château, et toujours au gré de nouvelles alliances elle passe entre les mains de Jean Olivier.
En 1570 les troupes de l’amiral de Coligny pénètrent dans la région du Bazois et les combats entre catholiques et protestants font rage. L’église du XII siècle est brûlée et le château endommagé. En 1663, la terre de Vandenesse est érigée en marquisat par le roi Louis XIV.
Au XVIII siècle, le marquisat de Vandenesse possession des Olivier-DeFiennes-DuBois, depuis 1604, se transmet de père en fils, puis passe à Charles-Léonard de Baylens de par son mariage en 1745, au Château de Versailles, avec Charlotte-Louise Olivier-DuBois-deFiennes (1726-1761). Leur fille cadette, Marie-Charlotte-Rosalie de Baylens (1760-1828) épouse en 1778 Hélie-Charles de Talleyrand-Périgord, et lui apporte le marquisat de Vandenesse.
À la Révolution, le château de Vandenesse saisi comme bien national et vendu en 1796 à Bourbon-Graviere qui en abat le coté nord-ouest.
Au XIX siècle, Hélie-Louis de Talleyrand-Périgord, est propriétaire du domaine. À sa mort, le château et leurs domaines passent à Charles de Mérode.
Depuis 1909, il est la possession de la famille de la Roche-Aymon.
Il est inscrit en 1998, au titre des Monuments historiques.