Les nombres transfinis sont des nombres infinis découverts et explorés par le mathématicien Georg Cantor. Se basant sur ses résultats, il a introduit une sorte de hiérarchie dans l'infini, en développant la théorie des ensembles. Un nombre entier naturel peut être utilisé pour décrire la taille d'un ensemble fini, ou pour désigner la position d'un élément dans une suite. Ces deux utilisations correspondent aux notions de cardinal et d'ordinal respectivement. Bien que semblables en apparence, ces deux concepts cantoriens doivent être distingués lorsque l'on s'intéresse à des ensembles infinis.
Les travaux de Cantor sur la théorie des ensembles ont été à la source de nombreux paradoxes, et ont contribué à la crise des fondements qu'ont connue les mathématiques, entre la fin du XIXe et le début du XXe siècle. Kronecker, par exemple, a exprimé pourquoi il ne considérait pas comme mathématiquement valides les démonstrations de Cantor faisant intervenir l'infini de deux façons différentes, en considérant l'un comme achevé et l'autre comme en construction.
Une fameuse boutade de David Hilbert résume le choix de bon nombre de mathématiciens : « Cantor a créé pour les mathématiciens un paradis dont ils ne se laisseront pas expulser ».
Les nombres transfinis ont peu d'applications en dehors des mathématiques à l'heure actuelle.
Dans la théorie des ensembles de Zermelo-Fraenkel avec axiome du choix, à tout ensemble correspond un cardinal, à savoir le plus petit nombre ordinal en bijection avec cet ensemble. Le cardinal d'un ensemble fini à n éléments est n. Le cardinal ω de l'ensemble infini des nombres entiers naturels est noté (aleph-zero), utilisant la première lettre de l'alphabet hébreu. est le plus petit nombre cardinal transfini. Il est plus grand que tout entier naturel. Deux ensembles ont le même cardinal lorsqu'ils sont en bijection. Ainsi, le cardinal de tout ensemble dénombrable infini est aussi , c'est le cas par exemple de l'ensemble des nombres algébriques. De manière plus générale, on montre que les ensembles des types suivants sont infinis dénombrables
Ces propriétés se traduisent sur le nombre transfini par les formules suivantes
Mais l'infini ne se résume pas à . On montre à l'aide de l'argument diagonal de Cantor que l'ensemble des nombres réels n'est pas dénombrable. Si l'on note le nombre cardinal transfini associé à , on a donc
est parfois noté par analogie avec les cardinaux finis car est en bijection avec l'ensemble des parties de . On a donc avec cette notation que . De manière plus générale, on montre que le cardinal de l'ensemble des parties d'un ensemble est toujours strictement plus gros que l'ensemble de départ. Ainsi,
Il existe donc une infinité de nombres cardinaux transfinis !
Se pose alors la question de savoir si , le premier cardinal strictement plus grand que est égal à ou s'il lui est strictement inférieur. Les travaux de Kurt Gödel et de Paul Cohen ont montré que cette question ne pouvait pas recevoir de réponse dans l'axiomatique de la théorie des ensembles. cf. hypothèse du continu.
En théorie des ensembles, les entiers naturels peuvent être construits avec des ensembles :
De cette manière, tout entier naturel est un ensemble bien ordonné, et l'inclusion des ensembles se traduit par un ordre sur les entiers naturels. Cela nous conduit à la définition d'un nombre ordinal par John von Neumann : un ensemble E est un ordinal si et seulement si E est totalement ordonné pour l'inclusion et tout élément de E est un sous ensemble de E. Cette approche permet d'envisager les nombres ordinaux infinis, appelé aussi nombres ordinaux transfinis.
L'existence des ordinaux infinis est assurée par l'axiome de l'infini.
Le premier nombre ordinal transfini est noté ω, dernière lettre de l'alphabet grec. Il correspond à l'ensemble des nombres entiers naturels .
Si α et β sont deux ordinaux, on dit que α < β si et seulement si . On peut alors comparer deux ordinaux quelconques.
Si α est un ordinal, on définit le successeur de α comme étant l'ordinal , noté α + 1. En itérant l'opération, on montre qu'il existe une infinité d'ordinaux et on définit une addition entre ordinaux. Par exemple, on a :
Cette addition est associative mais pas commutative. Ainsi ω < ω + 1 < ω2, mais ω = 1 + ω. On peut aussi définir une multiplication et une exponentielle, ce qui donne lieu à une arithmétique sur les nombres ordinaux transfinis.
Il existe des nombres ordinaux transfinis qui ne peuvent pas être obtenus en effectuant un nombre fini d'opérations arithmétiques n'utilisant que les nombres ordinaux finis et ω. Le plus petit d'entre eux est appelé ε0 et vaut . Il est en outre solution de l'équation x = ωx.
Les ordinaux ne forment pas un ensemble, au sens des axiomes de la théorie des ensembles, mais une classe propre. Cette propriété s'appelle le paradoxe de Burali-Forti, sa démonstration repose sur l'argument suivant: si l'ensemble des ordinaux existait, il serait par définition un ordinal qui serait strictement plus grand (par définition) que tous les ordinaux, ce qui est contradictoire.