Variance (statistiques et probabilités)

Restez toujours informé : suivez-nous sur Google (☆)

Introduction

En statistique et probabilité, la variance est une mesure arbitraire servant à caractériser la dispersion d'une distribution ou d'un échantillon.

Définition

Soit X une variable aléatoire réelle dont le moment d'ordre 2, à savoir $E (X^{2})$ , existe.

Définition — $Var (X) \equiv V (X) \equiv E [(X - E [X])^{2}]$

On peut interpréter la variance comme la moyenne des carrés des écarts à la moyenne (rigoureusement: l'espérance des carrés des écarts à l'espérance, vulgairement: Moyenne des carrés moins le carré des moyennes). Elle permet de caractériser la dispersion des valeurs par rapport à la moyenne. Ainsi, une distribution avec une même espérance et une variance plus grande apparaîtra comme plus étalée. Le fait que l'on prenne le carré de ces écarts à la moyenne évite que des écarts positifs et négatifs ne s'annulent.

Notation — On note souvent: $Var (X) \equiv σ_{X}^{2}$

Propriétés

La variance est toujours positive ou nulle.
Lorsque la variance est nulle, cela signifie que la variable aléatoire correspond à une constante (toutes les réalisations sont identiques).
Formule alternative de calcul de la variance:

Propriété — $Var (X) = E [X^{2}] - E [X]^{2}$

Cette formule s'énonce ainsi : la variance est égale à l'espérance du carré de X moins le carré de l'espérance de X. La formule permet souvent un calcul plus simple de la variance que la définition.

Sa démonstration est faite dans le théorème de König-Huyghens.

Variance d'une transformation affine:

Propriété — $Var (a X + b) = a^{2} Var (X)$

On remarque à travers cette propriété que le fait de déplacer simplement une distribution (ajouter +b) ne modifie pas sa variance. Par contre, changer l'échelle (multiplier par a) modifie la variance quadratiquement. Cette propriété permet également de confirmer la remarque établie précédemment que la variance d'une constante est nulle, en effet, $Var (b) = 0$ .

Variance de la somme de deux variables

Si $cov (X, Y)$ désigne la covariance des variables aléatoires X et Y, alors:

Propriété — $Var (X + Y) = Var (X) + Var (Y) + 2 cov (X, Y)$

Variance de la somme de deux variables indépendantes (et plus généralement non corrélées)

Propriété — $Var (X + Y) = Var (X) + Var (Y)$

Il faut faire attention au fait que $Var (X - Y) = Var (X) + Var (Y)$ ! Même si les variables sont soustraites, leur variances s'additionnent.

Bilinéarité

Propriété — $var (\sum_{i = 1}^{n} X_{i}) = \sum_{i = 1}^{n} var (X_{i}) + 2 \sum_{1 \leq i < j \leq n} cov (X_{i}, X_{j})$

Cette formule est classique pour une forme quadratique associée à une forme bilinéaire symétrique. Dans ce cas particulier, cela traduit le fait que la covariance est une forme bilinéaire symétrique positive (sur l'espace vectoriel $L^{2} (Ω, B, P)$ des variables aléatoires de carré intégrable), et que la forme quadratique associée est la variance. On a plus généralement

Propriété — $var (\sum_{i = 1}^{n} a_{i} X_{i}) = \sum_{i = 1}^{n} a_{i}^{2} var (X_{i}) + 2 \sum_{1 \leq i < j \leq n} a_{i} a_{j} cov (X_{i}, X_{j})$

Variance de la moyenne de variables indépendantes (ou 2 à 2 non corrélées) et de même variance σ

En définissant $\overline{X} = \frac{1}{n} \sum_{i = 1}^{n} X_{i}$

Propriété — $Var (\overline{X}) = \frac{σ ^{2}}{n}$

Écart type

L'écart type est la racine carrée de la variance:

σ_{x} = V (X)

Cas discret

La variance V(X) représente la moyenne des carrés des écarts à la moyenne : elle permet de caractériser, tout comme l'écart type, la dispersion des valeurs x_i par rapport à la moyenne, notée $\overline{x},$ ou encore E(X).

Soit une série statistique $(x_{i}, n_{i})_{i = 1 \dots k}$ de moyenne $\overline{x}$ et d'effectif total n (c’est-à-dire $n = \sum_{i = 1}^{k} n_{i}$ et $p_{i} = \frac{n _{i}}{n}$ ).

La variance de cette série est alors :

V (X) = i = 1 \sum k p_{i} (x_{i} - \overline{x})^{2}

Simplification

La moyenne peut être considérée comme le barycentre de la série.

D'après le théorème de König , on a : $V (X) = \sum_{i = 1}^{k} p_{i} (x_{i}^{2}) - \overline{x}^{2}$

Équiprobabilité

Dans le cas d'équiprobabilité,

V (X) = \frac{1}{n} i = 1 \sum n (x_{i} - \overset{x}{ˉ})^{2} = \frac{1}{n} i = 1 \sum n x_{i}^{2} - \overset{x}{ˉ}^{2}

Remarque: égalité toujours vraie, même s'il n'y a pas équiprobabilité! (cf développer le calcul et sortir la moyenne de la somme dans le terme croisé)

Cas continu

Dans le cas continu, la variance se calcule de la façon suivante :

V (X) = \int_{R} x^{2} \cdot f (x) \cdot d x - (\int_{R} x \cdot f (x) \cdot d x)^{2}

Variance d'un vecteur aléatoire

Si l'on définit $X_{k \times 1}$ comme un vecteur aléatoire qui comporte k variables et Μ comme le vecteur des k espérances de X, on définit alors la variance comme:

Définition — $Σ_{k \times k} \equiv Var [X_{k \times 1}] \equiv E [(X_{k \times 1} - M) (X_{k \times 1} - M)^{'}]$

Il s'agit alors d'une matrice carrée de taille k, appelée matrice de variance-covariance, qui comporte sur sa diagonale les variances de chaque composante du vecteur aléatoire et en dehors de la diagonale les covariances. Cette matrice est symétrique et semi-définie positive ; elle est définie positive si et seulement si la seule combinaison linéaire certaine (c'est-à-dire presque sûrement constante) des composantes du vecteur aléatoire est celle dont tous les coefficients sont nuls.

On a les propriétés suivantes:

Propriété — Si V est une matrice carrée de taille $k, Var [V_{k \times k} X_{k \times 1}] = V Var [X] V^{'}$

Estimation

Deux estimateurs sont généralement utilisés pour la variance:

s_{n}^{2} = \frac{1}{n} i = 1 \sum n (y_{i} - \overline{y})^{2} = (\frac{1}{n} i = 1 \sum n y_{i}^{2}) - \overline{y}^{2},

s_{n - 1}^{2} = \frac{1}{n - 1} i = 1 \sum n (y_{i} - \overline{y})^{2} = \frac{1}{n - 1} i = 1 \sum n y_{i}^{2} - \frac{n}{n - 1} \overline{y}^{2},

Propriétés

Biais

L'estimateur $s_{n}^{2}$ est biaisé: $E (s_{n}^{2}) = \frac{n - 1}{n} σ^{2}$
L'estimateur $s_{n - 1}^{2}$ est sans biais.

Pourquoi n-1?

Le fait que l'estimateur de la variance doive être divisé par n-1 (et donc dans un certain sens moins précis) pour être sans biais provient du fait que l'estimation de la variance implique l'estimation d'un paramètre en plus, l'espérance. Cette correction tient compte donc du fait que l'estimation de l'espérance induit une incertitude de plus. En effet:

Théorème — si l'on suppose que l'espérance est connue, l'estimateur $S_{n}^{2}$ est sans biais

Convergence

Les estimateurs $s_{n}^{2}$ et $s_{n - 1}^{2}$ sont convergents en probabilité.

Théorème — $s_{n}^{2}$ et $s_{n - 1}^{2} p σ^{2}$ si les observations sont iid (μ,σ).

Distribution des estimateurs

En tant que fonction de variables aléatoires, l'estimateur de la variance est également une variable aléatoire. Sous l'hypothèse que les y_i sont des observations indépendantes d'une loi normale, le théorème de Cochran (en) montre que $s_{n - 1}^{2}$ suit une loi du χ²:

(n - 1) \frac{s _{n - 1}^{2}}{σ ^{2}} \sim χ_{n - 1}^{2} .

En conséquence, il suit que $E (s_{n - 1}^{2}) = σ^{2} .$ . Cette propriété d'absence de biais peut cependant être démontrée même sans l'hypothèse de normalité des observations.

Méthodes de calcul

Le calcul par ordinateur de la variance empirique peut poser certains problèmes, notamment à cause de la somme des carrés. La page anglaise: Algorithms for calculating variance décrit le problème ainsi que des algorithmes proposés.