Le cœur du sanctuaire en lui-même est un monument très simple, presque cubique, avec ses 15 m de haut et ses côtés de 10 et 12 m.
La pierre noire était déjà vénérée avant l'Islam, et donnait lieu à un pèlerinage pour les populations de la région. Selon la tradition musulmane, son culte remonterait à Abraham et Ismaël. Avant l'Islam, la Kaaba servait de lieu où étaient déposés les symboles tribaux de toute l'Arabie, et un toit plat soutenu par six piliers avait été construit autour pour la protéger vers le début du VIIe siècle sans doute par des Coptes d'Égypte. Ils y avaient réalisé une décoration peinte.
La position de la Kaaba indique la direction (qibla) vers laquelle se tournent les musulmans pour effectuer leur prière. La mosquée joue un rôle important dans le hajj et le oumra.
La mosquée, d'une superficie de 400 800 m², s'étend sur deux niveaux ainsi que sur une immense terrasse, un sous-sol et des esplanades autour. Sa capacité d'accueil est de 900 000 personnes, soit quelques deux millions de fidèles durant la période du hajj, ce qui fait d'elle la plus grande mosquée au monde. Les neuf minarets qui la composent culminent à 89 mètres. Le premier mihrab de la mosquée date du VIIIesiècle.
De nombreuses personnes travaillent à la mosquée Al-Haram dont une quinzaine d'imams et de muezzins dont voici la liste :
Les muezzins de Haram Sharif doivent posséder un certain nombre de qualités, dont les plus importantes sont : une bonne morale et une bonne voix. Il y 16 muezzins dans la mosquée actuellement, durant le ramadan 6 autres sont ajoutés en renfort. Durant la prière, un muezzin soutient aussi les imams en répétant à voix haute les paroles de ces derniers.