Le château défend l'ancienne citadelle islamique, le Ksar (alcazar); il comporte douze portes en ses murs crénelés dont sept du côté de la paroisse de Santa Cruz do Castelo. De l'extérieur, un pan de muraille donne accès à une tour barbacane. Dix-huit tours viennent renforcer et soutenir les murs. Par la porte sud (Portão Sul), depuis la rue de Santa Cruz do Castelo, on accède à la place d'armes (Praça de Armas).