Une basse-cour est située sur le côté sud du château. On peut encore observer un châtelet au sud-ouest bien conservé avec ses deux tours. La première circulaire date du XIIIe siècle et la seconde plus grosse date du XIVe siècle. Le châtelet a inspiré la Tour narbonaise de l'enceinte de Carcassonne. Il est défendu par par une tour d'éperon et une tour circulaire. Le châtelet renferme deux joyaux médiévaux, un assommoir de trois métres par trois et au rez-de-chaussée de la tour ronde, une salle d'archére à la maçonnerie presque intacte. Le donjon culmine l'ensemble des constructions entouré d'une enceinte irréguliére percée d'archéres. De nos jours, il subsiste quelques restes de l'enceinte fortifiée.
Les ruines du château de Penne ont été classées monument historique le 2 mai 1902.
Bâti sur un piton biscornu naturellement taillé à l'abrupt dont il épouse strictement les contours, le château est perché à plus de 120 métres au-dessus du méandre de l'Aveyron. Penne est bati sur la partie septentrionale de la forêt de la Grésigne, à une heure au nord de Toulouse.
Axel Letellier, architecte de formation, a racheté le château en 2006. De 2009 à 2011, un programme de restauration est en cours à l'initiative du nouveau propriétaire. Les différentes phases annuelle de travaux représente un budget de 80 000 euros. La région et le département participe à hauteur de 15% chacun dans le financement. Le château a réouvert au public en juin 2010.