Le château est ouvert au public depuis 1968.
La partie médiévale est constituée de quatre tours rectangulaires : au nord-est, la tour de Saint-Baudile, la plus ancienne, date de la fin du XIe siècle, au sud-est, la tour du Pigeonnier date du début du XIIIe siècle alors qu'au sud-ouest et au nord-ouest les tours du Portail et de Montredon ont été édifiées vers l'an 1320. Une cour d’honneur précède la cour intérieure qui est fermée par les bâtiments et un mur de clôture couronné de balustres dans lequel s’ouvre un portail monumental à bossages et fronton.
François de Pavée, vers 1530, rénove l’ancien logis féodal faisant de la façade située côté cour intérieure un des plus anciens témoignages d'architecture de la Renaissance du Languedoc .
Une nouvelle aile est ajoutée, par son arrière-petit-fils Raymond de Pavée au temps de Louis XIV.
Une chapelle et des décors intérieurs datent du XVIIIe siècle.