Au sud du château se trouvait une enceinte grossièrement rectangulaire qui abritait la basse-cour où se trouvaient la garnison et la population qui se réfugiait dans le castel en cas d'attaque. Cette muraille est flanquée d'une tour circulaire et est protégé par un fossé sec, appelé "fossé à dos-d'âne". Au nord se trouvait le donjon, défendu par une seconde enceinte, la chemise qui ferme l'espace réservé au seigneur et à ses proches par un pont-levis. On pouvait accéder à la cour seigneuriale par une poterne à deux arbalètes. Une citerne située au pied du donjon permettait de régler les problèmes d'eau potable. Au nord et à l'est du donjon se trouvaient un verger et un jardin accolé au système fortifié.
L'enceinte de la basse-cour épouse le premier escarpement rocheux. Le donjon est sur le point le plus élevé, il était construit sur le rocher pour en assurer la solidité.
Pour la chemise et le mur d'enceinte, on s'est souvent contenté d'une simple remise à niveau par un calage sommaire. Ce manque de soin apporté à l'édification de l'enceinte s'explique par la hauteur imposante du rocher qui empêchait tout travail de sape, les attaquants ne pouvaient ni abattre, ni dérochier. Le donjon et la tour d'angle étaient distants d'une portée de flèche et étaient disposés sur le versant est, le plus vulnérable en cas d'attaque.
À Pymont, les sols de certaines salles sont composées de carreaux de terre cuite vernissées ou non. Ils reposent généralement sur un sol constitué de couches alternées de terre, de sable ou de chaux. Les carreaux en terre cuite non vernis sont disposés parallèlement aux murs de la pièce. Les pavements ornés ont leur éléments disposés diagonalement. Les carreaux à décor végétal sont groupés par 4, ou multiple de 4, et forment de splendides rosaces bicolores. Les carreaux simples courent le long des murs ou encadrent les rosaces.
La toiture du donjon a dû être d'abord réalisée en bois, puis en tuiles. Ici, l'utilisation des tuiles vernissées remontrerait au deuxième quart du XIVe siècle.