La seigneurie de Cherves dépendait de Cognac et les terres de Cherves sont achetées par Jacques Chesnel gouverneur de Cognac entre 1530 et 1535. Ils habitaient alors le petit château fort de Plumejeau, pillé en 1569, à l'emplacement duquel a été découvert le "trésor de Cherves".
En 1610, Charles-Roch Chesnel fait construire le château actuel, entouré de douves sèches, près de Plumejeau, sur le domaine de la Roche où s'élevait déjà une fuie (colombier) datée de 1505, incluse dans les bâtiments agricoles derrière les bâtiments sur la droite en regardant le château.
Jean Frétard (1686-1765) se marie vers 1716 avec Marie Elisabeth Chesnel (?-1759) et Louis Alexandre Frétard hérite du château, qui devient par la suite par alliance la propriété de Louis Guillouet, Comte d'Orvilliers. Plus tard, il est transmis aux comtes de Roffignac.
René-Annibal de Roffignac est célèbre pour avoir proposé sa tête à la place de celle de Louis XVI. En 1800, l'un de ses fils, Louis-Philippe-Joseph de Roffignac, est envoyé en Louisiane où il occupera le poste de maire de La Nouvelle Orléans.
Le Comte Ferdinand de Roffignac est à la tête de la propriété viticole de Château Chesnel et fonde sa société en 1923 ; son fils Jean puis son petit fils Renaud lui succèdent.
