En statistiques, un test d'hypothèse est une démarche consistant à rejeter (ou plus rarement à accepter) une hypothèse statistique, appelée hypothèse nulle, en fonction d'un jeu de données (échantillon).
On cherche par exemple à tester si un certain paramètre θ, qui peut par exemple être la valeur moyenne d'une grandeur, prend une certaine valeur θ0. L'hypothèse nulle dans ce cas est « la moyenne vaut θ0 » et l'hypothèse contraire sera « la moyenne est différente de θ0 ».
Une notion fondamentale concernant les tests est la probabilité que l'on a de se tromper. Dans l'idéal on souhaiterait avoir un test qui renvoie toujours le "bon" résultat. Par exemple on aimerait avoir un test qui choisisse toujours l'hypothèse nulle lorsque celle-ci est vérifiée et qui rejette tout le temps l'hypothèse nulle lorsque celle-ci est fausse.
Il y a deux façons de se tromper lors d'un test statistique :
Dans l'idéal on aimerait bien que ces deux erreurs soient nulles, malheureusement ce n'est pas possible, en tout cas lorsque l'on ne dispose que d'un nombre fini d'observations, et il faut alors faire un choix.
D'ordinaire on range les tests dans deux catégories les tests paramétriques et les tests non paramétriques. Les premiers testent la valeur d'un certain paramètre. Ces tests sont généralement les tests les plus simples. Les tests non paramétriques quant à eux ne font pas intervenir de paramètre. C'est par exemple le cas des tests d'adéquation à une loi ou des Test du χ².
On peut également distinguer les tests d'homogénéité et les tests d'adéquations :
Pour les tests classiques qui constituent l'essentiel des tests statistiques, ces deux erreurs jouent un rôle asymétrique. On contrôle uniquement le risque de première espèce à un niveau α (principe de Neyman) ; cela revient à considérer que le risque de rejeter l'hypothèse nulle alors que cette hypothèse est vraie est beaucoup plus coûteux que celui de la conserver à tort (ce dernier risque n'étant pas maîtrisé).
Pour les tests bayésiens on peut parfois pondérer ces deux risques grâce à la connaissance d'une probabilité a priori. La connaissance de cette probabilité a priori est l'un des fondements de la statistique bayésienne et constitue l'une de ses difficultés majeures. Si on cherche par exemple à tester le fait qu'un certain paramètre θ vaut une certaine valeur θ0 cette probabilité a priori sera une loi de probabilité sur θ qui donne la probabilité que l'on a d'observer θ. Cette loi a priori est également appelée croyance a priori ou croyance bayésienne. Ces tests sont souvent d'une mise en œuvre plus complexe que les tests statistiques la raison principale est qu'ils nécessitent de "trouver" une bonne loi a priori puis de la réviser grâce à la révision des croyances.