En vertu du second théorème d'incomplétude de Gödel, la non-contradiction de ces axiomes entre eux n'est pas conséquence de ces seuls axiomes : on ne peut pas prouver la cohérence de l'arithmétique dans l'arithmétique.
Une structure de Dedekind-Peano est un modèle de ces axiomes. La construction ci-dessus fournit donc une preuve de cohérence des axiomes relativement à une théorie dans laquelle on peut définir ces structures, et formaliser la preuve de correction, par exemple la théorie des ensembles de Ernst Zermelo. Il existe également des preuves de cohérence relative, notamment celle de Gerhard Gentzen qui fournit une mesure précise de la « force » de l'arithmétique : il suffit d'ajouter un principe d'induction jusqu'à l'ordinal dénombrable ε0 pour pouvoir démontrer la cohérence de l'arithmétique.
L'addition et la multiplication sont définies sur
L'addition sur
Puisque s(0) = 1, s(b) = s(b + 0) = b + s(0) = b + 1. Le successeur de b est simplement b + 1.
De façon analogue, en supposant que l'addition a été définie, la multiplication sur
Il est finalement possible de définir un ordre total sur
Un modèle de l'arithmétique de Peano qui n'est pas une structure de Dedekind-Peano, et n'est donc pas isomorphe à
Tout modèle non standard de l'arithmétique contient les entiers naturels, que l'on appelle alors, entiers « standard », et qui sont les éléments du modèle que l'on peut désigner par des termes du langage, les autres éléments du modèle sont alors appelés entiers non standard.
Plus précisément si
et l'image de f est ce que l'on appelle l'ensemble des entiers standard du modèle.
Il n'est pas possible de distinguer les entiers standard des entiers non standard dans le langage de l'arithmétique, puisque si un prédicat permettait de caractériser les entiers standard, le schéma de récurrence particularisé à ce prédicat ne serait pas valide. On « sort » donc de l'arithmétique de Peano dès que l'on raisonne sur ces notions dans un modèle non standard. Mais, on peut se servir du fait que les axiomes de Peano restent valides dans ce modèle. On montre par exemple facilement qu'un entier non standard est nécessairement supérieur à un entier standard. La totalité de l'ordre (défini par l'addition, voir ci-dessus), reste valide. Si un entier non standard était plus petit qu'un entier standard, on montrerait par injectivité du successeur et récurrence qu'il existe un entier non standard plus petit que 0, et 0 serait un successeur. Encore plus simplement, on montre qu'il ne peut y avoir de plus petit entier non standard, puisque tout entier non nul est un successeur.