Ce vestige féodal qui date du XII siècle représente un des plus anciens monuments militaires de la région.
Certains attribuent l'édification du donjon de l'Isleau, sur une petite éminence dominant le marais, à Henri III Plantagênet.
Le premier seigneur connu avec certitude apparaît dans un aveu rendu en 1368: il s'agit de Pont de Vivonne Chevalier, « Tesmoing de vérité » sous le scel de sa « chastellerie de Lileau près de Pontlabay ». Au cours des XVII et XVIII siècles, le domaine devint la propriété des barons de la Chaume.
En 1521, Jean III Isle de la Cave hérite l'Isleau de son oncle Guy d'Estuer. Son fils, François Isle de la Matassière, le reçoit en 1557 et le passera à son fils, Daniel Isle de Forgette, en 1578.
Les sites de héraldique notent un Prévost, seigneur de l'Isleau, paroisse de Sainte-Gemme, élection de Saintes.
Au XIX siècle, le donjon, propriété d'exploitants agricoles, fut abandonné et envahi par les ronces et les herbes . Sa restauration a été entreprise par des propriétaires privés depuis 1974.