Le paradoxe de Russell, ou antinomie de Russell, est un paradoxe très simple de la théorie des ensembles (Russell lui-même parle de théorie des classes, en un sens équivalent), qui a joué un rôle important dans la formalisation de celle-ci. Il fut découvert par Bertrand Russell vers 1901 et publié en 1903. Il était en fait déjà connu à Göttingen, où il avait été découvert indépendamment par Ernst Zermelo, à la même époque, mais ce dernier ne l'a pas publié.
On peut formuler le paradoxe ainsi : l'ensemble des ensembles n'appartenant pas à eux-mêmes appartient-il à lui-même ? Si on répond oui, alors, comme par définition les membres de cet ensemble n'appartiennent pas à eux-mêmes, il n'appartient pas à lui-même : contradiction. Mais si on répond non, alors, il a la propriété requise pour appartenir à lui-même : contradiction de nouveau. On a donc une contradiction dans les deux cas, ce qui rend l'existence d'un tel ensemble paradoxal. Réécrit plus formellement, si l'on pose :
on a immédiatement que y ∈ y ⇔ y ∉ y, donc chacune des deux possibilités, y ∈ y et y ∉ y, mène a une contradiction.
Le paradoxe utilise très peu des propriétés de l'appartenance, une relation binaire suffit, ce qui a permis à Bertrand Russell de l'illustrer sous la forme plus imagée, mais qui a la même structure, du paradoxe du barbier. Un barbier se propose de raser tous les hommes qui ne se rasent pas eux-mêmes, et seulement ceux-là. Le barbier doit-il se raser lui même ? L'étude des deux possibilités conduit de nouveau à une contradiction. On résout le problème en affirmant qu'un tel barbier ne peut exister (ou, en jouant sur les mots, qu'il n'est pas un homme), ce qui ne surprendra personne : il n'y a pas vraiment de paradoxe. Plus exactement la démonstration qui précède constitue justement une démonstration de la non-existence d'un tel barbier.
Pourquoi les choses ne sont-elles pas aussi simples en théorie des ensembles ? Un principe qui semble assez naturel est de considérer que toute propriété, plus précisément tout prédicat du langage, définit un ensemble : celui des objets qui vérifient cette propriété. Mais si l'on utilise ce principe, dit principe de compréhension sans restriction, on doit admettre l'existence de l'ensemble paradoxal, défini par le prédicat « ne pas appartenir à soi-même » : c'est ce que l'on a fait justement en « définissant » l'ensemble y = {x | x ∉ x}. Plus simplement (l'existence d'un tel ensemble suffit, l'unicité est indifférente), on a utilisé le cas particulier suivant du principe de compréhension non restreint :
La théorie qui contient ce seul axiome, et donc a fortiori toutes les instances du principe de compréhension non restreint, est contradictoire, la démonstration est la même que celle donnée ci-dessus.
Russell décrivit ce paradoxe dans une lettre adressée en 1902 à Gottlob Frege, où il montrait à ce dernier que l'une des règles introduite dans ses Grundgesetze der Arithmetik, la compréhension non restreinte, rendait la théorie de Frege contradictoire. Le paradoxe est alors bel et bien une antinomie : une contradiction interne à la théorie. Frege souhaitait dans cet ouvrage fonder les mathématiques sur des bases purement logiques, tâche à laquelle devait également s'atteler Russell (voir logicisme), avec les Principia Mathematica. Il fait paraître ce paradoxe, (et d'autres) dans son ouvrage The Principles of Mathematics publié en 1903, tandis que, la même année, Frege adjoint au second volume de Grundgesetze der Arithmetik un appendice où il l'expose en en faisant précéder l'analyse de cet aveu d'une honnêteté confondante : « Pour un écrivain scientifique, il est peu d'infortunes pires que de voir l'une des fondations de son travail s'effondrer alors que celui-ci s'achève. C'est dans cette situation inconfortable que m'a mis une lettre de M. Bertrand Russell, alors que le présent volume allait paraître ».
La théorie des ensembles de Georg Cantor était également concernée par le paradoxe de Russell. Contrairement à la théorie de Frege, la théorie des ensembles de Cantor, est une théorie mathématique, et ne s'attaque pas à la formalisation de la logique elle-même (qui est le véritable succès de Frege). Cependant la théorie n'était pas formalisée, ce qui la rend d'ailleurs potentiellement sujette aux paradoxes qui font intervenir le langage, comme le paradoxe de Richard ou le paradoxe de Berry. Le paradoxe de Russell montrait que l'ensemble paradoxal en jeu ne peut exister, et laissait craindre que la théorie soit contradictoire. Mais le paradoxe de Russell n'était pas le premier paradoxe à apparaître dans la théorie des ensembles de Cantor. Le paradoxe de Burali-Forti, découvert par ce dernier en 1897, est très clairement interprété par Georg Cantor dans une lettre de 1899 à Richard Dedekindcomme montrant que l'« ensemble » paradoxal en jeu, que nous appelons aujourd'hui la classe de tous les ordinaux, n'est pas un ensemble, plus exactement est de nature différente. De même pour le paradoxe de Cantor (1899) sur le plus grand cardinal. Il n'y a donc aucun doute, qu'à cette époque, Cantor ne pense pas que tout prédicat définisse un ensemble, même s'il ne donne pas de définition précise de la différence entre ce que nous appelons aujourd'hui « ensemble » et « classe propre », et qu'il évoque sous les termes de « multiplicité [vielheit] consistante et inconsistante ». Mais la solution de Cantor aux paradoxes ensemblistes, trop peu formelle, n'a pas vraiment réussi à convaincre Richard Dedekind, l'un des premiers à utiliser la notion d'ensemble, et qui reste très ébranlé par la découverte des paradoxes.
Par ailleurs, le paradoxe de Russell a l'avantage d'être particulièrement simple : nul besoin des notions de bon ordre, d'ordinal ou de cardinal en jeu dans les paradoxes de Burali-Forti et de Cantor. Il posa de façon encore plus cruciale la nécessité d'une formalisation de la théorie des ensembles (qui bien sûr doit éviter les paradoxes connus), et il joua un rôle important dans les débats autour de la mise au point de celle-ci.