L'ethnomathématique est une jeune science qui étudie les activités mathématiques ou pseudo-mathématiques dans divers groupes sociaux, notamment les peuples actuels qui n'utilisent pas l'écriture. Contrairement à ce qu'on pourrait penser de prime abord, elle ne nous éclaire pas directement sur les mathématiques préhistoriques, mais permet plutôt d'infirmer certaines hypothèses.
Par exemple une étude de Pierre Pica sur les amérindiens Mundurucus montre que ce peuple n'opère que difficilement avec de petits nombres entiers, alors que leur capacité à évaluer de grands nombres est égale à celle d'Européens ayant suivi une scolarité. Ainsi, l'a priori suivant lequel un peuple découvrirait les nombres par ordre croissant est erroné. On ne peut s'appuyer dessus pour étudier les documents archéologiques.
Les premières figures impliquant des carrés et des cercles entremêlés sont attestées sur des poteries du VIe millénaire av. J.-C. en Mésopotamie.
Huit mille ans avant Jésus-Christ, l'essor rapide des cités-états mésopotamiennes du Néolithique incitèrent les habitants à utiliser des jetons en argile (ou calculi) de différentes formes pour dénombrer des objets lors de transactions commerciales. Ce système évolua peu à peu pour donner naissance à l'écriture. Les calculi, à l'origine simples formes coniques, devinrent plus complexes, décorés, et insérés dans des enveloppes d'argile séchée.
Ce procédé était destiné à vérifier la justesse des transactions Ainsi, si une personne A doit envoyer six chèvres à une personne B, elle confie les six chèvres à un intermédiaire avec une enveloppe contenant six calculi. À l'arrivée, la personne B casse l'enveloppe et peut ainsi vérifier que le nombre de chèvres est le bon.
Comment savoir si le nombre six désigne bien six chèvres et non cinq chèvres et un mouton ? La forme des calculi intervient : chaque type d'objet est lié à une forme de calculus. Ainsi, si l'expéditeur envoie cinq chèvres et un mouton, l'enveloppe devra contenir cinq calculi de type « chèvre » et un calculus de type « mouton ».
Mais ce système n'est pas encore parfait : comment être sûr que l'enveloppe a bien été scellée par A ? Les enveloppes sont cachetées avec des sceaux-cylindres qui identifient l'expéditeur.
À la fin de IVe millénaire av. J.-C., la forme des calculi est imprimée sur l'enveloppe d'argile encore fraîche : ainsi, il n'est plus nécessaire de briser cette enveloppe pour connaître son message. Puis on se rend compte qu'il n'est plus nécessaire d'envelopper des calculi, puisque leur forme est représentée sur l'enveloppe. On se contente donc d'une tablette sur laquelle est apposée le sceau-cylindre signature et un certain nombre de pictogrammes représentant la quantité et la qualité de marchandise (cinq pictogrammes « chèvres » pour désigner cinq chèvres). L'écriture est probablement née ainsi.
C'est la relative continuité de l'évolution des calculi aux pictogrammes (qui, rappelons-le, sont au début des impressions de calculi) qui a permis aux archéologues de reconstituer de façon relativement assurée la signification de ces premières formes d'argiles simples datées du VIIIe millénaire av. J.-C..