Lors de la fondation de Kairouan en 670, le général et conquérant arabe Oqba Ibn Nafi (lui-même fondateur de la ville) choisit l’emplacement de sa mosquée au centre de la cité, à proximité du siège du gouverneur.
Peu de temps après sa construction, la mosquée est détruite vers 690, durant l’occupation de Kairouan par les Berbères initialement menés par Kusayla. Elle est reconstruite par le général ghassanide Hassan Ibn Numan en 703. Avec l’accroissement progressif de la population de Kairouan et devant l’augmentation conséquente du nombre de fidèles, Hicham ben Abd al-Malik, calife omeyyade de Damas, fait effectuer par l’intermédiaire de son gouverneur Bichr Ibn Safwan des travaux d’aménagement dans la ville qui incluent la rénovation et l’élargissement de la mosquée aux alentours des années 724-728. En vue de son agrandissement, il fait abattre puis reconstruire la mosquée à l’exception de son mihrab ; c’est sous son égide que débute l’édification du minaret. En 774, une nouvelle reconstruction accompagnée de remaniements et d’embellissements, a lieu sous la direction du gouverneur abbasside Yazid Ibn Hâtim.
Sous le règne des souverains aghlabides, Kairouan est à son apogée et la mosquée profite de cette période de calme et de prospérité. En 836, Ziadet Allah Ier fait reconstruire à nouveau la mosquée : c’est à cette époque que l’édifice acquiert, au moins dans sa globalité, l’aspect qu’on lui connaît aujourd’hui de même qu’est élevée la coupole côtelée sur trompes en coquille du mihrab. Vers 862-863, Aboul Ibrahim agrandit l’oratoire, avec trois travées vers le nord, et ajoute la coupole au-dessus du portique qui précède la salle de prière. En 875, Ibrahim II construit encore trois travées aux dépens de la cour qui est également amputée sur les trois autres côtés par des galeries doubles.
L’état actuel de la mosquée remonte donc au règne des Aghlabides — aucun élément n’est antérieur au IXe siècle hormis le mihrab — à l’exception de quelques restaurations partielles et de quelques adjonctions postérieures effectuées en 1025 sous le règne des Zirides, 1249 et 1293-1294 sous le règne des Hafsides, 1618 à l’époque des beys mouradites, à la fin du XIXe siècle et au début du XXe siècle. En 1967, de grands travaux de restauration, étalés sur cinq ans et menés sous la direction de l’Institut national d’archéologie et d’art, sont lancés sur l’ensemble du monument et s’achèvent par une réouverture officielle de la mosquée lors de la célébration du Mouled de l’année 1972.
Quelques siècles après sa fondation, la Grande Mosquée de Kairouan fait l’objet de nombreuses descriptions de la part d’historiens et de géographes arabes du Moyen Âge. Ces récits concernent principalement les différentes phases de construction et d’agrandissement du sanctuaire, ainsi que les apports successifs de nombreux princes au décor intérieur (mihrab, minbar, plafonds, etc.). Parmi les auteurs qui ont écrit sur le sujet et dont les récits nous sont parvenus figurent Al-Bakri (géographe et historien andalou mort en 1094 et qui a consacré un récit suffisamment détaillé à l’histoire de la mosquée dans son livre Description de l’Afrique septentrionale), Al-Nowaïri (historien égyptien mort en 1332) et Ibn Nagi (jurisconsulte et hagiographe kairouanais mort aux alentours de l’année 1435). En se référant à un texte plus ancien d’Al-Tujibi (auteur kairouanais décédé en 1031), Ibn Naji donne, au sujet des ajouts et des embellissements apportés à l’édifice par le souverain aghlabide Aboul Ibrahim, le récit suivant : « Il construisit dans la mosquée de Kairouan la coupole qui se dresse à l’entrée de la nef centrale ainsi que les deux colonnades qui la flanquent des deux côtés, puis les galeries furent dallées par ses soins. Il fit ensuite le mihrab ». Soulignant le soin apporté par le prince à la décoration du mihrab, il ajoute que « l’émir donna au mihrab cette parure merveilleuse, employant le marbre, l’or et autres belles matières ».
Par la suite, voyageurs, écrivains et poètes occidentaux passés par Kairouan laissent des témoignages parfois empreints de vive émotion voire d’admiration sur la mosquée. Dès le XVIIIe siècle, le médecin et naturaliste français Jean André Peyssonnel, qui effectue un voyage d’études vers 1724, durant le règne du souverain Hussein I Bey, souligne la renommée de la mosquée comme un centre d’études religieuses et profanes réputé :
« La Grande Mosquée est dédiée à Okba où il y a un célèbre collège où l’on va étudier des endroits les plus reculés de ce royaume : on y enseigne à lire et écrire la grammaire arabe, les lois et la religion. Il y a de grosses rentes pour l’entretien des professeurs. »
À la même époque, le docteur et pasteur anglican Thomas Shaw (1692-1751), qui parcourt la Régence de Tunis et passe par Kairouan en 1727, décrit la mosquée comme celle « qui est réputée la plus magnifique et la plus sacrée de la Berbérie », mettant notamment en avant « un nombre presque incroyable de colonnes de granit ». À la fin du XIXe siècle, l’écrivain français Guy de Maupassant exprime, dans son ouvrage La vie errante, sa fascination pour l’architecture majestueuse de la Grande Mosquée de Kairouan ainsi que pour l’effet créé par ses innombrables colonnes : « L’harmonie unique de ce temple vient de la proportion et du nombre de ses fûts légers qui portent l’édifice, l’emplissent, le peuplent, le font ce qu’il est, créent sa grâce et sa grandeur. Leur multitude colorée donne à l’œil l’impression de l’illimité ». Au tout début du XXe siècle, le poète autrichien Rainer Maria Rilke décrit son admiration pour l’imposant minaret :
« Existe-t-il un modèle plus beau que cette vieille tour, le minaret, encore conservé de l’architecture islamique ? Dans l’histoire de l’art, son minaret à trois étages est considéré comme un chef-d’œuvre et un modèle parmi les monuments les plus prestigieux de l’architecture musulmane. »