Le château d'Angles-sur-l'Anglin surveille la frontière du Poitou depuis le X siècle (il est attesté en 1025). Il est acheté par l'évêque Guillaume de Bruges à la famille de Lezay à la fin du XIII siècle et restera propriété de l'évéché jusqu'à la révolution.
Guichard III, seigneur d'Angles est nommé sénéchal de Saintonge durant la guerre de 100 ans et il est nommé maréchal de Guyenne quand le Poitou devient anglais en 1356. Le château d'Angles-sur-l'Anglin est repris aux anglais sans combat par Du Guesclin en 1372.
Au XV siècle les évêques effectuent d'importants travaux. Hugues de Comparel fait construire le château neuf et Guillaume de Charpagne qui lui succède poursuit les travaux. Puis, durant les périodes troublées que sont les XVI siècle et XVII siècle le château est pris par les protestants, puis par les ligueurs, par les royaux puis les frondeurs. Ensuite il est délaissé par les évêques.
Devenu carrière publique à la révolution, il est acheté en 1923 par la Société des Antiquaires de l'Ouest, puis par la commune en 1986 Il a été classé monument historique le 10 février 1926.