Le domaine appartenait à l’abbaye de Ligugé, qui le vendit au XIe siècle à la famille Anguittard. À cette époque, seule une motte féodale existait, au sommet de la colline.
Au début du XIVe siècle, les nouveaux seigneurs, les Frottier de Chambonneau construisirent un château fort imposant pour faire face à l'évolution de l'armement. Au lieu de le construire sur l'emplacement de l'ancien, comme cela se faisait habituellement, il fut décidé de le construire au pied de la colline, mais de profiter de la proximité d'une rivière pour mettre des douves en eau.
Le château fut construit selon un plan quadrangulaire, avec tours rondes aux angles, deux tours barlongues (arrondies à l'extérieur seulement) sur le milieu des longs côtés, et deux autres tours barlongues pour défendre la porte. Cette porte était précédée d'un châtelet. Toutes les tours faisaient dix-sept mètres de haut, le donjon carré vingt-six mètres de haut.
En 1356, après la capture de Jean le Bon lors de la bataille de Poitiers, les Anglais cherchaient un abri sur la nuit, pour éviter une attaque surprise. Ils se présentèrent donc le soir de la bataille, avec Jean le Bon en avant, demandant un abri pour la nuit. Le châtelain ouvrit sans méfiance, et perdit ainsi son château en une minute. C'est donc dans ce château que Jean le Bon aurait passé son premier repas de captivité.