Un premier château fut construit au lieu-dit « Le Breuil » à la fin du XV siècle appartenant à la famille Brisejonc.
Il fut acquis en 1530 par Nicolas de Chargères, seigneur de la Sapinière, branche du Morvan, à la famille de Brosses qui habitait un château du même nom aux environs de Digoin
En 1616, un incendie détruisit le donjon et le château fut reconstruit dans son état actuel.
En 1677, le terrier du Breuil précise que la baronnie du Breuil possédait des vignes sur le coteau de l'Arroux à proximité du château.
Vendu par autorité de justice au début du XIX siècle à un marchand de biens, il fut racheté par la famille Casimir Perrier qui le revendit peu après à la famille de Valence.
En 1830, les de Chargères, qui avaient une propriété à Mondemot près de Vendenesse-sur-Arroux, en firent l'échange avec les de Valence. C'est ainsi que le château du Breuil retourna à ses anciens propriétaires.
Lors de son importante restauration de 1930, le château du Breuil servait de grenier à grains et ses fenêtres étaient obstruées par des galandages.
Le comte Bernard de Chargères et sa famille y réside aujourd'hui.