Le château de Bayac ne conserve des constructions du XIVe siècle que les deux tours qui surplombent la vallée, dont l'un crénelée, semblable à un donjon, abrite encore "la chambre de la Reine", Aliénor d'Aquitaine, à laquelle on accède par un escalier en pierre à vis monumentale. L'une de ces tours à mâchicoulis est flanquée d'une échauguette coiffée et encastrée. La tour circulaire du XVIe siècle et le corps du logis construit au XVIIIe puis au XIXe siècle, ont fait perdre à l'ensemble son allure défensive initiale.