C’est dans un vallon, à quelques kilomètres du bourg de Vérac, près d’une source et sur un petit promontoire calcaire que fut construite jadis une villa gallo-romaine. C’est en 1740, en creusant un fossé que des ouvriers trouvèrent des tombeaux taillés dans le roc de deux en deux parfaitement alignés, des glaives rongés par la rouille, des vases de plusieurs formes, des ossements pulvérisés, des fragments de glaives et des javelines. On y découvrit enfin des médailles romaines, dont une de l’empereur Antonin. Ces découvertes attesteraient d’une ancienneté du site suffisamment importante pour dire que la famille de Pommiers aurait tiré sont nom de la possession de cette terre de temps immémoriaux. C’est en effectuant des travaux dans les jardins du château de Pommiers en 1776 que l’on trouva les fondations de murailles d’une grande épaisseur entremêlées de briques.
Les seigneurs du lieu de Pommiers élevèrent à côté des ruines de la villa un château du nom de Pommiers. Ce château fort était le siège d’une sirerie dont ils portaient le titre. Au XII siècle ils étaient déjà seigneurs de la paroisse de Vérac (alias Veyrac olim Beyrac). Les sires de Pommiers y avaient droits de sépulture. Ce château, qui existait déjà au XIII siècle, agrandi au XIV siècle, était entouré de larges fossés creusés dans le roc. Son enceinte était d’une grande étendue.
Les propriétaires de Pommiers se qualifiaient de sire de Pommiers et avaient rangs de vicomte. Au XIV siècle, le sire de Pommiers, Guillaume-Sanche de Pommiers devient vicomte de Fronsac. Les sires de Pommiers avaient droits de haute et de basse justice sur leurs terres. Le château de Pommiers possédait des prisons et des oubliettes creusées dans le roc toujours visibles aujourd’hui. Le château fort de Pommiers à Vérac fut démolit en 1776. Il fut reconstruit selon la mode du XVIII siècle.
Les sires de Pommiers jusqu'à la Révolution furent les Familles :
- de Pommiers, vicomte de Fronsac.
- Achard.
- de Fronsac.
- de Brons.