Dominant la Dordogne, sur l’axe de communication avec le centre de la France, le site de Vayres a été occupé très tôt dans l’histoire. En effet il présentait un grand intérêt stratégique, en particulier pour la défense de Bordeaux. Des fouilles ont permis de mettre au jour des fours de poterie de l'époque gallo-romaine confirmant la présence déjà à cette époque d’une population nombreuse. À un oppidum gallo-romain a succédé un premier château fort en bois.
L'époque médiévale
Dès le XI siècle, le château de Vayres est en pierre, comme l’atteste un écrit datant de 1092. Il ne reste rien de ce donjon médiéval entouré Au XIII siècle, Amanieu VII d’Albret (1288) devient seigneur de Vayres lorsqu’il reçoit le château et ses terres en dot. Il fortifie le château en créant la "Tour du Moulin". C’est un tournant dans l’histoire du monument puisqu’il restera possession de la famille d’Albret pendant près de 300 ans, jusqu'au roi Henri IV.
À partir de 1326, Bérard d’Albret prend parti pour l’Angleterre qui contrôle alors la Guyenne. Il obtient un soutien financier du roi Édouard II et développe le château de Vayres en une vaste forteresse. De cette période subsistent de nos jours le donjon, le châtelet d’entrée et les douves qui ont toujours été sèches.
Le château fut considérablement endommagé durant la Guerre de Cent Ans. Les propriétaires successifs se ralliant tantôt aux Français, tantôt aux Anglais, Vayres fut saisi en représailles et donné à des personnages célèbres successifs : Gaston de Foix, une autre branche de la famille d’Albret etc. Il vint même par mariage en 1499 à César Borgia dont la fille restitua Vayres à Henri d’Albret, roi de Navarre et grand-père du futur roi de France Henri IV en 1535.
La Renaissance
Henri de Navarre, futur roi Henri IV, hérite du château de Vayres par sa mère Jeanne d'Albret. Il y séjourne à plusieurs reprises puis le vend, ruiné, en 1583 à Ogier de Gourgue.
Président des trésoriers des finances de Guyenne, Ogier de Gourgue est un personnage riche et puissant. Il entreprend les indispensables grands travaux. La forteresse est alors transformée en château d’agrément dans le style de la Renaissance. En 1586, Ogier de Gourgue fait appel à un architecte de renommée européenne, Louis de Foix, qui fut l’ingénieur du phare de Cordouan et travailla à la cour d’Espagne. Louis de Foix crée à Vayres la magnifique façade, à décor maniériste (style de la Renaissance finissante) et d’un grand raffinement, sur la cour d’honneur.
XVIIe siècle
Le château de Vayres est le théâtre de combats au XVII siècle car la famille de Gourgue adhère à la Fronde parlementaire, contre Mazarin et le jeune roi Louis XIV. Le château est très endommagé.
Jacques-Joseph de Gourgue, évêque de Bazas, en entreprendra vers 1700 la restauration. Il fait apporter des modifications qui mettent le monument au goût du jour côté Dordogne : on harmonise les corps de bâtiments et on crée un escalier monumental qui enjambe les douves. Cet escalier est l'un des éléments architecturaux les plus remarquables du château de Vayres. Au tout début du XVII siècle, le pont-levis et la barbacane sont remplacés par un pont « dormant » et un portique à la Vauban par où l’on pénètre désormais dans le château.
Le château de Vayres n’a plus subi de transformation depuis cette époque.
La famille de Gourgue est restée propriétaire jusqu’aux environs de 1900.
Le château de Vayres a été classé Monument historique le 4 octobre 2001, classement modifié par arrêté du 9 avril 2002. Sont classés le château, les dépendances et le moulin.
C'est une propriété privée qui a toujours été habitée. Les propriétaires successifs se sont efforcés, avec passion, de l’entretenir.
Les campagnes de travaux se succèdent et pour 2010 une bibliothèque sera ouverte à la visite. Elle a été créée dans une salle du donjon entièrement restaurée (en particulier le plafond peint XVII siècle.
