Les Djerbiens, ayant eu à subir des attaques répétées venant de la mer tout au long de l'histoire, se sont éloignés des côtes et dispersés dans la campagne à l'intérieur de l'île : le bâti est donc, en général, isolé et dispersé et se structure selon une organisation hiérarchique de l'espace basée sur le menzel — terme signifiant « maison » en arabe littéral et décrivant les espaces résidentiels et fonctionnels dans lesquels vivent les familles — qui en constitue la cellule de base et la mosquée qui en est l'élément fédérateur. L'héritage architectural essentiel de Djerba réside avant tout dans ses nombreuses mosquées (plus de 300 avec moins de la moitié encore en usage), la dispersion de l'habitat étant à l'origine de la construction de nombre de d'entre elles. À Houmt Souk, il existe plusieurs fondouks à l'architecture particulière réunis dans l'ancien quartier maltais (compris entre la mosquée des Turcs, l'église catholique et l'actuelle rue de Bizerte) dont certains ont été transformés en petits hôtels ou auberges. Il existait des fondouks chrétiens à Djerba depuis le XIVe siècle.
Les couleurs dominantes des habitations djerbiennes sont le blanc vif pour les murs et les toits et le bleu ciel ou plus rarement le vert bouteille pour les portes et fenêtres. D'autres couleurs ont commencé à apparaître depuis l'installation d'habitants venant de l'extérieur de l'île (en majorité du sud et du centre-ouest de la Tunisie) et de la construction de maisons « de prestige » par les Djerbiens immigrés. À Djerba, il est interdit de construire plus de deux étages au-dessus du rez-de-chaussée et du sous-sol, ce qui a permis de préserver une certaine harmonie architecturale.
Le développement du tourisme international sur l'île dès les années 1960 a engendré une modification dans l'organisation traditionnelle de l'espace. Ce phénomène semble avoir amoindri l'espace central de l'île au profit d'une partie des côtes. Beaucoup de champs ont été abandonnés, les jeunes préférant des activités moins pénibles et plus lucratives que l'agriculture et la main d'œuvre locale disponible représentant un coût que le rendement agricole ne justifie que dans de rares cas (en présence de nappes d'eau douce ou à basse salinité). Une enquête datée de 1963 estimait déjà à 7 000 hectares la superficie des terres en friche sur un total de 39 000 hectares cultivables, soit près du cinquième du potentiel agricole. Les menzels abandonnés ou en ruines sont alors nombreux. Le centre reste marginalisé économiquement et à l'écart des principales voies de communication même si plusieurs routes ont été goudronnées au cours des années 1990 et si le phénomène n'est pas propre à Djerba. Toutefois, cette partie centrale tend à être partiellement revalorisée par les habitants qui y construisent des résidences principales de type pavillonnaire.
La campagne djerbienne frappe par son silence profond que plusieurs visiteurs célèbres ont souligné, parmi ceux-ci Simone de Beauvoir qui a déclaré que « c'est l'endroit le plus silencieux du monde ».
Le menzel est formé d'une ou de plusieurs unités d'habitation (houch) et de vergers, champs ou atelier de tissage, greniers, huilerie (souvent souterraine), puits et citerne. Entouré de hautes levées de terre (tabia), il est organisé selon un principe défensif. D'une façon générale, le houch abrite trois générations. Il prend une forme carrée ou rectangulaire et ne comporte pas de fenêtres sur l'extérieur, celles-ci ouvrant normalement sur la cour intérieure. Autour de la cour, s'articulent deux à quatre pièces plus ou moins grandes qui peuvent se diviser au moyen de cloisons internes, de portes ou de simples rideaux (kella) et comprendre des sedda ou doukkana (coins en général surélevés utilisés comme chambre à coucher), des magsoura (petites chambres) et des mesthan (petites salle de bains sans WC). La skifa, située à l'entrée, est la pièce qui réunit les habitants et sert à recevoir les voisins et les visiteurs les moins importants. Pour les visiteurs de marque, les familles aisées disposent en général d'un makhzin dhiafa indépendant ou rattaché au houch et donnant souvent sur l'extérieur.
Il y a également la zone cuisine et toilette avec le khouss (consruction en tronc et branches de palmier), le matbakh (cuisine), le houch el bir — puits à eau en général saumâtre qui sert aux travaux ménagers hormis la lessive — et le knif ou mihadh (WC). Autrefois, les garçons qui se mariaient obtenaient leur propre pièce dans le houch parental. Dans certaines localités, ces pièces comportent une ghorfa (seule pièce avec de petites fenêtres donnant sur l'extérieur), qui sert de chambre à coucher surélevée à laquelle on accède par un escalier intérieur raide et sans rampe. L'utilisation de voûtes et de coupoles est très courante et permettrait de lutter contre la chaleur. L'ameublement est en général simple et austère : des matelas souvent posés directement sur des nattes (h'sira) ou sur des estrades ou banquettes en maçonnerie (sedda ou doukkana), des coffres ou de grosses jarres pour ranger le linge, des marfaa (sorte de portemanteaux), des sofra ou mida, sorte de tables à manger basses car on mangeait assis, les jambes croisées, sur des nattes ou des matelas bas appelés gaada. Les réserves alimentaires étaient conservées dans de grosses jarres en terre cuite (khabia, tass ou zir) fabriquées depuis des millénaires dans le village de Guellala. La grande majorité de la vaisselle djerbienne provient également de ce même village.
Compte tenu de la faible pluviométrie (moins de 250 mm par an) et de la rareté de l'eau potable, les Djerbiens ont construit depuis des millénaires et construisent encore de nos jours des citernes (impluviums) qu'ils appellent feskia ou fesghia — en général souterraines, de forme rectangulaire ou carrée et situées à l'extérieur du houch — et des majen ou majel — qui prennent la forme d'une grande carafe évasée contruite le plus souvent dans la cour intérieure du houch — et ce pour la collecte des eaux de pluie. Les majen et les feskia reçoivent l'eau de pluie recueillie sur les toits des habitations, leurs terrasses ou cours, espaces passés à la chaux vive (jir) tous les ans avant la saison humide afin de garantir une certaine hygiène. Ce système de collecte d'eau pluviale existait déjà à Djerba à l'époque romaine, de grandes citernes ayant été découvertes à Meninx. En 1967, on a estimé à près de 1 000 000 m2 la surface totale des impluviums à Djerba.
Léon l'Africain, cité par Salah-Eddine Tlatli donne au XVIe siècle une description de l'habitat et de l'activité de Djerba qui est très proche de la situation des années 1960 : « Gerba est une île prochaine de terre ferme [...] garnie d'une infinité de vignes, dattes, figues, olives et autres fruits. En chacune des possessions est bâtie une maison, et là habite une famille à part, tellement qu'il se trouve force hameaux mais peu qui aient plusieurs maisons ensemble. Ce terroir est maigre, voir qu'avec si grand labeur et soin qu'on puisse mettre à l'arroser avec l'eau de quelques puys profons... ».
Héritage du Moyen Âge, les côtes de Djerba sont parsemées de forts témoins de son passé mouvementé ; plusieurs de ces forts de l'époque médiévales furent démantelés.
Le plus grand monument historique de l'île encore en état est le Borj El Kebir, appelé aussi Borj El Ghazi Mustapha ou Fort espagnol. Situé sur la côte au nord de Houmt Souk, sa construction sur les ruines de l'ancienne cité de Girba (actuelle Houmt Souk) a été ordonnée par le souverain hafside de Tunis pour abriter sa garnison vers 1392 puis agrandi aux environs de 1450. Le 11 mars 1560, à la suite d'une défaite, le cheïkh Messaoud, placé à la tête de l'île, le remet au vice-roi de Sicile, Juan de la Cerda, qui ne le conserve pas longtemps : le fort est assiégé entre le 11 mai et le 29 juillet par le corsaire Dragut appuyé par Piyale Pacha, l'assaut faisant entre 5 000 et 6 000 morts. Le caïd Ghazi Mustapha Bey, installé par Dragut pour faire de l'île une base navale, achève entre 1560 et 1567 les travaux entrepris par l'expédition de Juan de la Cer (appartements et petite mosquée notamment). Les autorités tunisiennes déclarent le fort monument historique le 15 mars 1904 ; il est restauré ensuite et transformé en musée. Il abrite actuellement deux zaouïas : Sidi Saad et Ghazi Mustapha dédiée à Ghazi Mustapha Bey. Il s'agit de nos jours d'un château fort « de 68 mètres de longueur et 53 mètres de largeur, les murailles [sont] hautes d'environ 10 mètres et d'une épaisseur variant entre 1,20 à 1,50 mètre », autrefois muni de pont-levis et entouré d'un grand fossé.
Borj El Kastil ou El Gastil est l'un des rares forts de l'époque médiévale qui ait été partiellement épargné ; il s'agit d'une forteresse bâtie en 1210 (ou vers 1287 d'après Kamel Tmarzizet) par le conquistador espagnol Roger de Lauria, l'amiral de Pierre III d'Aragon, roi de Sicile ; De Lauria occupe Djerba sous les ordres de Pierre d'Aragon en 1284 et y place une forte garnison. Le fort est restauré une première fois au XVe siècle par le sultan hafside, puis à nouveau au XVIe siècle par les Ottomans et au XVIIe siècle par Hammouda Pacha Bey. Situé à l'est d'El Kantara, il a une forme carrée d'environ 30 mètres de côté et de 10 mètres de hauteur.
Une forteresse entourée par la mer entre Terbella et El Kantara, appelée Borj El Agrab, disposent encore de fondations solides mais de dimentions plus modestes. Construite sur les traces d'un précédent fort, sur un plan de forme circulaire découpé en trois petites pièces, elle a été restaurée et occupée pendant des décennies par les Siciliens et les Espagnols, en particulier le Catalan Ramon Muntaner. Une légende l'entoure : elle aurait été construite par un prince djerbien, dont l'unique enfant élevé ici pour le protéger meurt à la suite de piqûres d'un scorpion dissimulé dans une corbeille de fruits.
Il faut aussi citer Borj Jilij, construit par Ali I Pacha en 1745 et achevé par Hammouda Pacha en 1795, qui se situe à la pointe nord-ouest de l'île, non loin de l'aéroport et de Mellita. Il est restauré à plusieurs reprises et se trouve placé sous le contrôle de l'armée tunisienne. Il existe enfin d'autres forts, modifiés déjà sous le protectorat français puis par les autorités tunisiennes après l'indépendance : Borj Aghir, construit par les Ottomans au XVIIe siècle et transformé en bâtiment des douanes puis en maison de vacances pour les jeunes, Borj El Kantara, construit sur les soubassements de l'un des plus anciens forts de l'île et plusieurs fois rebâti ; ce dernier est restauré au XVe siècle, utilisé comme édifice des douanes sous le protectorat français puis par le ministère de l'Intérieur après avoir été agrandi. Par ailleurs, il existe des traces plus réduites de plusieurs autres forts dont Borj K'sar Massoud, Borj El Wasat et Borj Marsa Ajim.