Convergence de variables aléatoires

Dans la théorie des probabilités, il existe différentes notions de convergence de variables aléatoires. La convergence (dans un des sens décrits ci-dessous) de suites de variables aléatoires est un concept important de la théorie des probabilités utilisé notamment en statistique et dans l'étude des processus stochastiques. Par exemple, la moyenne de n variables aléatoires indépendantes et identiquement distribuées converge presque sûrement vers l'espérance commune de ces variables aléatoires. Ce résultat est connu sous le nom de loi forte des grands nombres.

Dans cet article, on suppose que (X_n) est une suite de variables aléatoires réelles, que X est une variable aléatoire réelle, et que toutes ces variables sont définies sur un même espace probabilisé $(\Omega ,\mathcal{F},\mathbb{P})$.

Soient F₁, F₂, ... la suite des fonctions de répartition associées aux variables aléatoires réelles X₁, X₂, ..., et F la fonction de répartition de la variable aléatoire réelle X. Autrement dit, F_n est définie par F_n(x)=P(X_n ≤ x), et F par F(x)=P(X ≤ x).

La suite X_n converge vers X en loi, ou en distribution, si

${\lim }_{n\to \infty }{F}_n(a)=F(a),$ pour tout réel a où F est continue.

Puisque F(a) = P(X ≤ a), cela signifie que la probabilité que X appartienne à un certain intervalle est très similaire à la probabilité que X_n soit dans cet intervalle pour n suffisamment grand. La convergence en loi est souvent notée en ajoutant la lettre $\mathcal{L}$ (ou $\mathcal{D}$ pour distribution) au-dessus de la flèche de convergence:

La convergence en loi est la forme la plus faible au sens où, en général, elle n'implique pas les autres formes de convergence définies ci-dessous, alors que ces autres formes de convergence impliquent la convergence en loi. C'est ce type de convergence qui est utilisé dans le théorème de la limite centrale.

De manière équivalente, la suite (X_n) converge en loi vers X si et seulement si pour toute fonction continue bornée

Théorème de continuité de Paul Lévy — Soit ${\phi }_n(t)$ la fonction caractéristique de $X_n$ et $\phi (t)$ celle de $X$. Alors

Autrement dit, (X_n) converge en loi vers X ssi la fonction caractéristique de la variable aléatoire réelle X_n converge simplement vers la fonction caractéristique de la variable aléatoire réelle X.

exemple: Théorème de la limite centrale  :

La moyenne d'une suite de variables aléatoires centrées, indépendantes et de même loi, une fois renormalisée par $\sqrt{n},$ converge en loi vers la loi normale

exemple: convergence de la loi de Student  :

La loi de Student de paramètre converge, lorsque tend vers vers la loi de Gauss:

Dans ce cas, on peut aussi utiliser le lemme de Scheffé, qui est un critère de convergence d'une suite de variables aléatoires à densité vers une variable aléatoire à densité.

Exemple  :

La suite $\mathcal{N}\left(0,\frac{1}{n}\right)$ converge en loi vers une variable aléatoire X₀ dite dégénérée, qui prend une seule valeur (0) avec probabilité 1 (on parle parfois de masse de Dirac en 0, notée ) :

Définition —  On dit que X_n converge vers X en probabilité si,

La convergence en probabilité est parfois notée $X_n\stackrel{p}{\to }X$, ou encore $\mathrm{plim}{X}_n=X$

La convergence en probabilité est utilisée dans la loi faible des grands nombres.

La convergence en probabilité implique la convergence en loi. On peut donc énoncer le théorème suivant:

Théorème —  X_n converge vers X en probabilité $\Rightarrow$ X_n converge vers X en loi.

Il existe des conditions suffisantes de convergence en probabilité vers une constante, portant sur l'espérance et la variance des termes de la suite :

Théorème —  ${\lim }_{n\to \infty }E[X_n]=c\mathbf{et}{\lim }_{n\to \infty }\mathrm{Var}[X_n]=0\Rightarrow X_n\stackrel{p}{\to }c$.

Exemple  :

Ce théorème est très utile pour démontrer la loi faible des grands nombres de manière simple: il suffit de voir que si $\left(X_i\right)$ est une suite de variables aléatoires indépendantes et identiquement distribuées d'espérance μ et de variance σ et que $\bar{X}n=\frac{1}{n}\sum {i=1}^n{X}_i$, alors:

${\lim }_{n\to \infty }\mathrm{Var}[\bar{X}n]=\lim n\to \infty \frac{{\sigma }^2}{n}=0$ (voir preuve sur la page variance)

Donc ${\bar{X}}_n\stackrel{p}{\to }\mu$

La réciproque n'est pas vraie :

• En statistiques, un estimateur peut être biaisé mais cependant convergent !

• Dans l'exemple suivant, la suite, d'espérance constante, converge vers une constante différente de cette espérance ; la suite des variances tend vers l'infini.

Exemple  :

Soit une suite ${\left(X_n\right)}_{n\ge 1}$ de variables aléatoires telle que chaque X_n prenne pour valeurs 0 et n et que :

$\mathbb{P}(X_n=n)=\frac{1}{n}$, donc $\mathbb{P}(X_n=0)=1-\frac{1}{n}$.

On voit qu'elle converge en probabilité : $\forall \epsilon >0,\forall n\ge \epsilon :\mathbb{P}(|X_n|\ge \epsilon )=\mathbb{P}(X_n=n)=\frac{1}{n}\to 0\text{ donc }{X}_n\stackrel{p}{\to }0$.

Cependant, $E[X_n]=1$ et $\mathrm{Var}[X_n]=n-1\to +\infty$.

Ainsi les conditions énoncées plus haut de convergence en probabilité vers une constante ne sont pas nécessaires.

On dit que X_n converge presque sûrement ou presque partout ou avec probabilité 1 ou fortement vers X si

Définition — $\mathbb{P}\left({\lim }_{n\to \infty }{X}_n=X\right)=1.$

Cela signifie que les valeurs de X_n approchent la valeur de X, au sens où (cf. presque partout) l'événement sur lequel X_n ne converge pas vers X a une probabilité nulle.

On note souvent cela ou $X_n\stackrel{as}{\to }X$ (almost surely en anglais).

On peut expliciter la définition de la convergence presque sûre en utilisant l'espace probabilisé $(\Omega ,\mathcal{F},\mathbb{P})$ et le concept de variable aléatoire comme fonction de Ω dans $\mathbb{R}$:

Théorème —  X_n converge vers X presque sûrement $\Rightarrow X_n$ converge vers X en probabilité

La convergence presque sûre est utilisée dans la loi forte des grands nombres.

Soit r > 0. On dit que X_n converge vers X en moyenne d'ordre r ou en norme L si E|X_n| < ∞ pour tout n et

${\lim }_{n\to \infty }\mathrm{E}\left({\left|X_n-X\right|}^r\right)=0$.

La convergence en moyenne d'ordre r nous dit que l'espérance de la puissance r-ième de la différence entre X_n et X converge vers zéro.

Pour r =2, on parle de convergence en moyenne quadratique

Théorème —  X_n converge vers X en norme L $\Rightarrow X_n$ converge vers X en probabilité.

Théorème — Pour r > s ≥ 1, la convergence en norme L implique la convergence en norme L.

On a également le résultat suivant:

Théorème —  X_n converge vers une constante c en moyenne quadratique .

Un théorème très pratique, désigné en anglais généralement sous le nom de Mapping theorem (en), établit qu'une fonction g continue appliquée à une variable qui converge vers X convergera vers g(X) pour tous les modes de convergence:

Théorème — Mapping theorem Soit $g:{\mathbb{R}}^k\to {\mathbb{R}}^m$ une fonction continue en tout point d'un ensemble C tel que $\mathbb{P}(X\in C)=1$ :

• Si $X_n\stackrel{\mathcal{L}}{\to }X\text{ alors }g(X_n)\stackrel{\mathcal{L}}{\to }g(X)$

• Si $X_n\stackrel{p}{\to }X\text{ alors }g(X_n)\stackrel{p}{\to }g(X)$

• Si $X_n\stackrel{p.s}{\to }X\text{ alors }g(X_n)\stackrel{p.s.}{\to }g(X)$

Exemple  :

En statistiques, un estimateur convergent de la variance σ est donné par:

On sait alors par le continuous mapping theorem que l'estimateur $\sqrt{s_{n-1}^2}$ de l'écart type $\sigma =\sqrt{{\sigma }^2}$ est convergent, car la fonction racine est une fonction continue.

À quelques exceptions près, les implications mentionnées dans les sections précédentes n'ont pas de réciproque, à proprement parler. Voici toutefois quelques propriétés utiles qu'on pourrait qualifier de "semblants de réciproques":

• Si X_n converge en loi vers une constante réelle c, alors X_n converge en probabilité vers c.

• Si X_n converge presque sûrement vers X, alors X_n converge en loi vers X, et la réciproque est fausse, mais il existe un théorème (appelé "théorème de représentation de Skorohod") qui est une forme de réciproque, voir, dans Fonction de répartition, la section Convergence en loi et fonction de répartition, et particulièrement (1. implique 3.).

• Si X_n converge en probabilité vers X, et si P(|X_n| ≤ b) = 1 pour tout n et un certain b, alors X_n converge en moyenne d'ordre r vers X pour tout r ≥ 1. Plus généralement, si X_n converge en probabilité vers X, et si la famille (X_n) est uniformément intégrable, alors X_n converge en moyenne vers X.

• Si pour tout ε > 0,

alors X_n converge presque sûrement vers X. En d'autres termes, si X_n converge en probabilité vers X suffisamment rapidement (i.e. la série ci-dessus converge pour tout ε > 0), alors X_n converge aussi presque sûrement vers X. Cela résulte d'une application directe du théorème de Borel-Cantelli.

• Soit $(X_n{)}_{n\ge 1}$ une suite de variables aléatoires réelles indépendantes. Pour tout n, on pose :

$S_n=X_1+\cdots +X_n$.

Alors la convergence presque sûre de la suite $(S_n{)}_{n\ge 1}$ équivaut à sa convergence en probabilité ; autrement dit, la convergence presque sûre de la série de terme général X_n équivaut à sa convergence en probabilité.