Bâti sur un relief entouré de talus abrupts sur trois côtés, le château n'est accessible que par sa face méridionale.
Il se compose de deux enceintes concentriques, et comprenait un donjon dont on ne perçoit plus que des pans de murs effondrés, probablement à la suite de son démantèlement à la poudre au XVIIe siècle. Le tracé de l'enceinte supérieure n'est que partiellement perceptible, essentiellement dans ses parties sud et est.
L'enceinte inférieure, mieux conservée, mesure environ 125 mètres sur 70. Elle comprend divers ouvrages de flanquement, mais le tracé exact de l'angle sud-ouest n'est plus perceptible. Plusieurs bâtiments subsistent à l'intérieur des deux enceintes.
Le rocher a largement été aménagé du côté sud pour former un fossé défendant l'accès le moins bien défendu naturellement. Sur le flanc méridional du relief, les restes de murailles et d'un accès en chicane sont à mettre en relation avec le village fortifié du XIIe siècle. Cet habitat villageois a probablement été déplacé plus bas dans la vallée, à son emplacement actuel, après la prise de possession par le roi de France au XIIIe siècle, scénario reconnu pour un certain nombre d'autres sites castraux du Languedoc à la même époque.
A quelque distance vers le nord, sur un piton rocheux surplombant les gorges, s'élevait un ouvrage fortifié secondaire, le Termenet, qui ne présente plus que des restes extrêmement fugaces. Du point de vue de la datation, quelques vestiges de la partie sommitale correspondent au château primitif des seigneurs de Termes et remontent aux XIe-XIIe siècles. La majeure partie du site a été reconstruite à la fin du XIIIe et début XIVe siècles par les architectes royaux lorsque le site de Termes est devenu une forteresse défendant la frontière contre l'Aragon.