Le promontoire rocheux qui domine la Charente de 80 mètres et l'Anguienne de 60 mètres formait une position stratégique et la première forteresse date de la fin de l'Empire romain. Le rempart qui entourait 27 hectares a été entretenu jusqu'au XIII siècle.
Du X siècle au XIII siècle, les comtes d'Angoulême, les Taillefer puis les Lusignan (voir liste des comtes et ducs d'Angoulême) renforcèrent les défenses de la ville et les agrandirent en englobant le quartier Saint-Martial.
En 1308, à la mort de Gui Ier de Lusignan, le comté d'Angoulême revient à la couronne de France. Il est donné à Louis d'Orléans frère du roi Charles VI en 1394 puis transmis à son fils Jean d'Orléans (1400-1467) grand-père de Marguerite d'Angoulême et de François Ier. Le Bon comte Jean d'Angoulême va magnifiquement agrandir le château comtal lors de son retour de captivité anglaise au milieu du XV siècle.
Le duc d'Épernon (Jean Louis de Nogaret de La Valette), gouverneur de l'Angoumois y reçu Marie de Médicis en fuite en 1619. Ensuite le château ne fut que la résidence des gouverneurs.
En 1840, sur proposition du maire de l'époque Paul Joseph Normand de la Tranchade, la ville l'acheta pour en faire la mairie. C'est ainsi que Paul Abadie, architecte chargé des travaux, fit détruire le logis du XV siècle et ne garda le donjon que sous la pression de la Société Archéologique et Historique de la Charente qui amena le conseil général de l'époque à ne céder l'ancien château à la ville, qu'à condition que n'en soit pas modifié le caractère monumental .
