Édifié en 796 par le général abbasside et gouverneur de l'Ifriqiya, Harthimâ Ibn A’yûn, il est agrandi du côté septentrional sous le règne des Aghlabides (IX siècle) puis du côté méridional sous le règne de la dynastie fatimide, vers 966. Par la suite, des travaux effectués vers 1424, à l'époque hafside, augmentent notablement sa superficie pour atteindre 4 200 m. Du XVII au XVIII siècle, de nombreux contreforts ainsi que des tours et des bastions polygonaux et circulaires sont ajoutés à l'édifice pour accueillir des pièces d'artillerie. Dès le X siècle, le voyageur, géographe et chroniqueur arabe Ibn Hawqal soutient que l'édifice est le plus grand ribat de l'Ifriqiya.
Au cours du XI siècle, le géographe et historien andalou Al-Bakri laisse sur le ribat de Monastir la description suivante :
« C'est une forteresse très élevée et solidement bâtie. Au premier étage, au-dessus du sol, se trouve une mosquée où se tient continuellement un cheikh, rempli de vertu et de mérite, sur lequel repose la direction de la communauté. »