Le dixième problème de Hilbert demande de trouver une méthode algorithmique générale pour la recherche des solutions entières des équations diophantiennes à plusieurs inconnues, c'est-à-dire des équations polynômiales à coefficients entiers. Il fait partie d'une célèbre liste de problèmes dressée par David Hilbert en 1900 lors de sa conférence au congrès international des mathématiciens de Paris. Le théorème de Matiiassevitch, démontré par ce dernier en 1970, établit que les ensembles diophantiens, qui sont les ensembles de solutions entières positives ou nulles d'une équation diophantienne avec paramètres, sont exactement tous les ensembles récursivement énumérables, ce qui entraîne qu'un tel algorithme ne peut exister : le dixième problème de Hilbert n'a pas de solution.
David Hilbert avait posé la question comme suit :
Il s'agit du seul des problèmes de Hilbert qui est ce que l'on appelle aujourd'hui un problème de décision : il existe une infinité dénombrable d'équations diophantiennes, mais la solution du dixième problème demande de trouver une méthode universelle qui permette de résoudre n'importe quelle équation diophantienne. Il existe de fait des méthodes très diverses et utilisant des techniques mathématiques très variées pour résoudre des équations diophantiennes. Par exemple le théorème de Fermat-Wiles résout une famille d'équations diophantiennes à trois inconnues.
Hilbert n'emploie pas le mot « algorithme », mais il n'y a aucun doute que c'est cela qu'il entend. À son époque, il n'existe pas de définition précise de ce qu'est un algorithme, ce qui n'aurait pas été gênant si la solution du problème avait été positive. Pour pouvoir envisager une solution négative, il fallait en donner une définition mathématique, qui est le fruit de travaux des années 1930, et repose sur la thèse de Church, formulée en 1936.
Le théorème de Matiiassevitch lui-même est beaucoup plus fort que l'insolubilité du dixième problème. Il affirme que :
Un ensemble S de nombres entiers est dit récursivement énumérable s’il y a un algorithme qui se comporte comme suit : on donne comme entrée à l'algorithme un nombre entier n, si n appartient à S, alors l'algorithme s'arrête tôt ou tard ; sinon il s'exécute indéfiniment. Cela revient à dire qu'il existe un algorithme qui s'exécute indéfiniment et produit tous les membres de S. D'autre part, un ensemble S d'entiers est dit diophantien s'il existe un polynôme à coefficients entiers P tel que n appartient à S si et seulement s'il existe des entiers x1,…, xk tels que P(n,x1,…, xk) = 0.
Il n'est pas difficile de voir que chaque ensemble diophantien est récursivement énumérable. Pour cela considérons une équation diophantienne f(n, x1,…, xk) = 0 et imaginons un algorithme qui parcourt toutes les valeurs possibles pour n, x1,…, xk, dans l'ordre croissant de la somme de leurs valeurs absolues, et retourne n chaque fois que f(n, x1,…, xk) = 0. Évidemment cet algorithme s'exécutera sans fin et énumérera les n pour lesquels f(n, x1,…, xk) = 0 a une solution.
La conjonction du théorème de Youri Matiiassevitch avec un résultat découvert dans les années 1930 implique qu'il n'y a pas de solution au dixième problème de Hilbert. Ce résultat découvert par plusieurs logiciens affirme qu'il existe des ensembles récursivement énumérables non récursifs. Dans ce contexte, un ensemble S de nombres entiers s'appelle « récursif » s'il y a un algorithme qui, étant donné un nombre entier n, renvoie une réponse oui ou non à la question n appartient-il à S? Il s'ensuit qu'il y a des équations diophantiennes qui ne peuvent être résolues par aucun algorithme.
Le théorème de Youri Matiiassevitch a été depuis employé pour démontrer l'indécidabilité de nombreux problèmes liés à l'arithmétique, de même, on peut également dériver la forme plus forte suivante du premier théorème d'incomplétude de Gödel :