Au IX siècle se dressait une grosse tour carrée, une forteresse appartenant aux Villebois qui surveillait l'ancienne route féodale Angoulême Périgueux.
Puis au XIII siècle un second château construit par les la Rochebeaucourt de l'autre côté de la route vient compléter le dispositif. En 1345 Ytier de Villebois refuse d'ouvrir le château aux Anglais. En 1349, deux écuyers auraient livré le château aux Anglais (guerre de Cent Ans). En 1372 Ytier de Villebois profite de la révolte d'Angoulême pour délivrer la place et en chasser la garnison anglaise.
Au XV siècle des fenêtres à meneaux sont percées. En 1850 il restait encore de ce château un logis cantonné de tours rondes à créneaux et mâchicoulis coiffées de toitures en poivrières. Au XVI siècle François de la Rochebeaucourt fit raser la grosse tour carrée établir des terrasses et construire l'orangerie. Charles IX y a séjourné en 1565.
Pauline de Tourzel fille de la fidèle gouvernante des Enfants de France jusqu'aux prisons du Temple y a séjourné durant la Révolution et l'arc de triomphe de style néo-classique est à sa mémoire.
En 1853 et 1859 Louis Hector de Galard de Béarn, diplomate et sénateur d'Empire, fit détruire le château et construire un château moderne par l'architecte parisien Dusillon et l'entrepreneur angoumoisin Nicolas, à qui il fit ensuite un procès pour malfaçon.
Les Galard en restèrent propriétaires jusqu'en 1892.
Il fut réquisitionné par les Allemands et brûlé en 1941.
