Cantor est le principal créateur de la théorie des ensembles, sous une forme que l'on qualifie aujourd'hui de théorie naïve des ensembles. Mais, à côté de considérations élémentaires, sa théorie comportait des niveaux d'abstraction élevés. La vraie nouveauté de la théorie de Cantor, c'est qu'elle permet de parler de l'infini. Par exemple, une idée importante de Cantor a été de définir l'équipotence. Deux ensembles A et B sont équipotents, ou ont même cardinalité (même nombre d'éléments quand ils sont finis), s'il existe un moyen d'associer à chaque élément de A un et un seul élément de B et inversement. On peut ainsi démontrer que l'ensemble N des entiers naturels a la même cardinalité que l'ensemble Q des nombres rationnels, bien que N soit un sous-ensemble propre de Q. Ces deux ensembles sont dits infinis dénombrables. D'un autre côté, l'ensemble R des nombres réels n'a pas la même cardinalité que N ou Q, mais une cardinalité supérieure : il est dit indénombrable ou non dénombrable. Cantor a donné deux preuves que R n'est pas dénombrable, et la deuxième, qui utilise un argument connu sous le nom d'argument de la diagonale de Cantor, a été extraordinairement influente et a eu de nombreuses et diverses applications en logique et en mathématiques.
Cantor a approfondi la théorie et a construit des hiérarchies infinies d'ensembles infinis, les nombres ordinaux et les nombres cardinaux. Ces constructions étaient controversées à son époque, l'opposition étant conduite par le finitiste Léopold Kronecker ; mais aujourd'hui elles sont acceptées par la majorité des mathématiciens.
Le développement de la théorie des ensembles par Cantor était encore « naïf » dans le sens qu'il n'employait pas encore une axiomatique précise, et parce que pour lui il n'y avait qu'une seule théorie des ensembles, un seul univers ensembliste attendu, alors que les théoriciens des ensembles d'aujourd'hui jonglent avec des univers différents.
Après coup, on a pu simplifier, assez injustement pour Cantor, en résumant sa théorie à un usage tacite de l'axiome d'extensionnalité, et d'une version trop forte du schéma d'axiomes de compréhension, qui en substance permettrait d'associer à toute propriété l'ensemble des objets vérifiant cette propriété. Une telle théorie, que l'on n'attribuera pas à Cantor, est contradictoire. Elle mène à deux famille de paradoxes. Les uns, comme le paradoxe de Berry ou le paradoxe de Richard, se rattachent au fait que le langage n'est pas bien défini, les autres, comme le paradoxe de Russell à un usage trop large de la compréhension : quand on essaie de construire l'ensemble S = {A | A n'appartient pas à A} de tous les ensembles qui n'appartiennent pas à eux-mêmes on tombe sur une contradiction. L'actuel schéma d'axiomes de compréhension, proposé par Zermelo, est restreint afin d'éviter ce paradoxe.
Cantor connaissait, avant la découverte du paradoxe de Russell, des paradoxes plus complexes, mais de même nature, comme le paradoxe de Burali-Forti ou le paradoxe du plus grand cardinal. Beaucoup de théoriciens des ensembles s'entendent pour dire que l'axiomatisation la plus adéquate à la théorie développée par Cantor est la théorie ZFC avec axiome de fondation (voir ci-dessous), ou la théorie des classes de von Neumann, Gödel et Bernays, qui lui est, en un certain sens (qui peut être rendu précis), équivalente.
Au tournant du siècle, Cantor est de plus en plus handicapé par sa maladie nerveuse, mais ses solutions aux paradoxes circulent par sa correspondance et sont connues, à la fin du XIXème siècle, de Richard Dedekind et, à Göttingen, de David Hilbert et de Ernst Zermelo. Cependant, pour beaucoup de mathématiciens de l'époque, les paradoxes jettent un doute sur la validité de la théorie des ensembles, les solutions proposées par Cantor sont trop informelles pour convaincre ceux qui les connaissent. Certains s'orientent vers la méthode axiomatique, illustrée à la même époque par Hilbert pour les fondements de la géométrie (1899).
Ainsi, en 1908, Ernst Zermelo construit un système d'axiomes pour la théorie des ensembles. En dehors de l'axiome d'extensionnalité, on peut voir ces axiomes comme une restriction de la version contradictoire du schéma d'axiomes de compréhension aux cas particuliers utiles, qui ne permettent pas de dériver les paradoxes. Dans ce système, il inclut également l'axiome du choix (qui n'a rien à voir avec la compréhension), un axiome à l'époque très controversé, avec lequel il a montré (en 1904) le théorème du bon ordre, et qui a également été utilisé implicitement par Cantor. Ce système a été redéfini de façon plus formelle et complété dans les années 1920 par Abraham Adolf Fraenkel et Thoralf Skolem, qui ajouteront le schéma d'axiomes de remplacement (autre cas particulier de la compréhension non restreinte), donnant la théorie ZFC connue aujourd'hui.