Estimateur (statistique) - Définition

Définition formelle

Un estimateur du paramètre inconnu θ d'un modèle ou loi de probabilité est une fonction qui fait correspondre à une suite d'observations issues du modèle ou loi de probabilité la valeur , que l'on nomme estimé ou estimation.

Construction d'estimateurs

Méthode du maximum de vraisemblance

Comme son nom l'indique, cette méthode consiste à maximiser une fonction appelée fonction de vraisemblance, contenant le paramètre que l'on souhaite estimer. Elle aura ainsi de fortes chances d'être très proche de ce paramètre.

Fonction de vraisemblance, au vu d'un n-échantillon (x₁,...,x_i,...,x_n) :

L'estimateur obtenu par cette méthode est généralement le meilleur possible, mais cela peut être fastidieux et surtout nécessite de maîtriser des règles mathématiques plus difficiles que la méthode des moments (voir ci-dessous).

Méthode des moments

La méthode des moments permet d'estimer des paramètres : pour cela, on pose l'égalité entre moments théoriques et empiriques correspondants puis, en résolvant les équations écrites, on exprime les paramètres en fonction de ces moments.

Estimateurs classiques

On se placera dans le cas simple d'un tirage aléatoire de n individus dans une population en comportant N. On s'intéresse au caractère quantitatif Y de moyenne et de variance V(Y). Dans l'échantillon tiré, le caractère quantitatif est y, sa moyenne est et sa variance est . Les valeurs et σ² varient selon l'échantillon et sont donc des variables aléatoires possédant chacune une espérance, une variance et un écart type.

Estimateur de la moyenne de Y

On prend en général comme estimateur de la valeur

.

appelée moyenne empirique de Y. On démontre que c'est un estimateur sans biais, c’est-à-dire que

Estimateur de la variance de Y

On pourrait penser que σ² est un bon estimateur de V(Y). Cependant des calculs (voir écart type) prouvent que cet estimateur est biaisé, l'espérance de σ² est toujours inférieure à V(Y). On prouve qu'un estimateur sans biais de V(Y) est :

• dans le cas de tirage avec remise
• dans le cas de tirage sans remise (qui vaut bien σ² lorsque n = N).

On peut remarquer que, pour N grand, le calcul avec remise et le calcul sans remise donnent des résultats presque équivalents. (le quotient est alors proche de 1). On prend donc en général, pour estimateur sans biais de V(Y) la valeur :

appelée variance empirique de Y.

Efficacité, convergence et intervalle de confiance

La manière dont fluctue autour de son espérance dépend de sa variance . Cette variance se calcule grâce à V(Y).

• dans le cas d'un tirage avec remise
• dans le cas d'un tirage sans remise

On peut remarquer que, pour N très grand devant n, les deux valeurs sont très voisines. Par la suite, on ne s'intéressera donc qu'au cas du tirage avec remise en considérant que N est très grand.

On s'aperçoit que plus n est grand, plus est petit. Donc, plus la taille de l'échantillon est grande, plus l'estimateur est efficace.

L'inégalité de Bienaymé-Tchebychev précise que, pour tout réel strictement positif ε,

donc que

Or converge vers 0 quand n tend vers l'infini. Il en est de même de  : l'estimateur est convergent.

Enfin, il résulte du théorème de la limite centrale que pour n relativement grand, la variable aléatoire suit (approximativement) une loi normale d'espérance Y et de variance , variance que l'on peut estimer être voisine de . Pour toute loi normale, dans 95% des cas, la variable aléatoire s'éloigne de son espérance de moins de deux fois son écart type. Dans le cas du sondage, cela signifie qu'il y a 95% de chance que l'estimateur s'éloigne de de moins de . L'intervalle est appelé intervalle de confiance à 95%. On peut remarquer que, pour diviser par 10 la longueur de l'intervalle de confiance, ce qui consiste à augmenter la précision de l'estimateur, il faut multiplier par 10² = 100 la taille de l'échantillon.

On parle souvent de la précision d'une enquête : c'est le rapport entre l'écart type et la moyenne de la variable aléatoire . Si l'enquête est précise à 2% par exemple, c'est que ce rapport est de 2 %. Cela signifie que l'intervalle de confiance à 95% est de

Influence des techniques de sondages sur les estimateurs

Découper la population en strates homogènes peut réduire de manière significative la valeur de la variance de l'estimateur et donc le rendre plus efficace.

Utiliser un tirage aléatoire à probabilités inégales, procéder à un sondage en plusieurs étapes ou par grappe change évidemment les formules calculées précédemment.

Enfin, l'utilisation d'informations auxilaires permet parfois d'effectuer une correction sur l'estimateur pour le rapprocher de la valeur réelle.