Le château est attesté dès le XI siècle : Hélie, seigneur de Chalais, est présent à la consécration de l'Abbaye aux Dames de Saintes.
Agnès de Chalais, seule descendante, épouse Hélie de Talleyrand et les Talleyrand prennent au XIII siècle le titre de princes de Chalais.
Durant la guerre de Cent Ans il est pris par les Anglais, et quand Jacques de Chabannes, lieutenant de Charles VII le reprend le 17 juin 1453 (un mois avant la bataille de Castillon) il le démantèle.
François de Talleyrand le fait rebâtir au début du XVI siècle. De cette construction subsistent aujourd'hui le châtelet d'entrée et le corps de bâtiment principal. Françoise de Montluc, fille du maréchal Blaise de Montluc, s'y retire après la disgrâce de sa famille suite à l'affaire Chalais (la condamnation pour crime de lèse-majesté et l'exécution d'Henri de Talleyrand comte de Chalais en 1626 par un bourreau novice) . Elle lance un programme de travaux de grande envergure dont reste en intérieur du château sa chapelle privée.
Le célèbre homme politique Talleyrand y séjourna dans sa jeunesse, entre 1758 et 1761. Il y était accueilli par son arrière grand-mère, Marie-Françoise de Rochechouart-Mortemart.
Quand il meurt en 1883, Hélie-Louis-Roger Talleyrand le lègue aux hospices de la ville.