Loi forte des grands nombres

Restez toujours informé : suivez-nous sur Google (☆)

Introduction

La loi forte des grands nombres est un énoncé mathématique énonçant que la moyenne d'une suite de variables aléatoires converge presque sûrement vers la même constante que l'espérance de la moyenne, sous certaines conditions (sur la dépendance, sur l'homogénéité et sur les moments).

Énoncé général

Le principe de la loi forte des grands nombres est que sous certaines conditions (sur la dépendance, sur l'homogénéité et sur les moments) la moyenne d'une suite de variables aléatoires {X_n} converge presque sûrement vers la même limite (constante) que l'espérance de la moyenne. En particulier, l'adjectif "fort" fait référence à la nature de la convergence établie par ce théorème : il est réservée à un résultat de convergence presque sûre. Par opposition, la loi faible des grands nombres, établie par Bernoulli, est un résultat de convergence en probabilité, seulement. Soit:

Principe général — $\overset{ˉ}{X}_{n} - \overset{μ}{ˉ}_{n} p . s . 0 avec \overset{ˉ}{X}_{n} \equiv n^{- 1} \sum_{i = 1}^{n} X_{i} et \overset{μ}{ˉ}_{n} \equiv E [\overset{ˉ}{X}_{n}]$

Il existe différents théorèmes selon le type d'hypothèses faites sur la suite {X_n} :

observations indépendantes et identiquement distribuées,
observations indépendantes et non-identiquement distribuées,
observations dépendantes et identiquement distribuées.

Observations indépendantes et identiquement distribuées

Loi forte des grands nombres (Kolmogorov, 1929) — Si $(X_{n})_{n > 0}$ est une suite de v.a. i.i.d., on a équivalence entre:

(i) $E (∣ X_{1} ∣) < + \infty,$

(ii) la suite $\ \scriptstyle \tfrac{X_1 + \cdots + X_n}{n}\$ converge presque sûrement.

De plus, si l'une de ces deux conditions équivalentes est remplie, alors la suite $\ \scriptstyle \tfrac{X_1 + \cdots + X_n}{n}\$ converge presque sûrement vers la constante $E (X_{1}) .$

C'est la première loi forte à avoir été démontrée avec des hypothèses optimales. Pour la démontrer, il fallait définir rigoureusement le concept de convergence presque sûre, ce qui a amené Kolmogorov à considérer les probabilités comme une branche de la théorie de la mesure: saut conceptuel dont Kolmogorov prouvait ainsi l'efficacité. La théorie moderne des probabilités s'est construite à partir du travail fondateur de Kolmogorov sur la loi forte des grands nombres. La loi forte des grands nombres est aussi un ingrédient important dans la démonstration d'autres lois fortes des grands nombres, comme la LFGN pour les processus de renouvellement, ou la LFGN pour les chaînes de Markov. C'est de ce théorème qu'on parle lorsqu'on dit "la loi forte des grands nombres", les autres théorèmes n'étant que des lois fortes des grands nombres. Ce théorème est aussi intéressant parce qu'il aboutit à une conclusion plus forte : il établit l'équivalence entre l'intégrabilité de la suite et sa convergence, alors que les autres théorèmes fournissent seulement des implications, sans leurs réciproques. Dans le cas où les termes de la somme sont des variables de Bernoulli, la loi forte des grands nombres a été établie par Émile Borel en 1909. D'autres versions de la loi forte des grands nombres ont succédé à la version due à Borel, jusqu'à la version définitive de Kolmogorov.

Observations indépendantes et non-identiquement distribuées

Théorème de Markov — Soit {X_n} une suite de variables aléatoires indépendantes d'espérance finie $E (X_{n}) \equiv μ_{n}$ . S'il existe δ > 0 tel que alors $\overset{ˉ}{X}_{n} - \overset{μ}{ˉ}_{n} p . s . 0$

Pour pouvoir relacher l'hypothèse d'équidistribution, on est amené à faire une hypothèse plus forte sur l'intégrabilité.

Observations dépendantes et identiquement distribuées

Théorème ergodique — Soit {X_t} une suite de variables aléatoires stationnaire ergodique avec $E (∣ X_{t} ∣) < \infty$ et d'espérance identique finie $E (X_{t}) \equiv μ$ Alors $\overset{ˉ}{X}_{t} p . s . μ$

Loi forte des grands nombres de Kolmogorov

La moyenne empirique d’une suite de variables aléatoires indépendantes, identiquement distribuées, et intégrables, converge presque sûrement vers leur moyenne mathématique (ou espérance).

Autres formulations

On note souvent :

S_{n} = X_{1} + X_{2} + \dots + X_{n} .

Ainsi l'énoncé devient

Théorème — Pour une suite $(X_{n})_{n > 0}$ de v.a. i.i.d., on a :

{p.s. \frac{S _{n} ( ω )}{n} est une suite convergente} \Leftrightarrow {E [∣ X_{1} ∣] < + \infty} .

De plus, si l'une de ces deux conditions équivalentes est remplie, on a:

P (ω \in Ω l i m_{n} \frac{S _{n} ( ω )}{n} = E [X_{1}]) = 1.

Énoncé usuel de la loi forte

L'énoncé ci-dessous est la forme habituelle de la loi forte des grands nombres, et est une conséquence directe (une forme affaiblie) du Théorème donné plus haut :

Théorème — Soit une suite $\ \scriptstyle \left(X_{n}\right)_{n\ge 1}\$ de variables aléatoires indépendantes et de même loi, intégrables. Alors

P (ω \in Ω l i m_{n} \frac{S _{n} ( ω )}{n} = E [X_{1}]) = 1.

Remarques

En statistiques, $\ \scriptstyle \tfrac{X_1 + \cdots + X_n}{n}\$ ou bien $\ \scriptstyle \tfrac{S_n}{n}\$ est appelée moyenne empirique des $\ \scriptstyle X_i\$ , et est souvent notée $\ \scriptstyle \overline{X}\$ .
On peut formuler l'hypothèse $\ \scriptstyle \left\{\forall n\ge1,\ X_{n}\text{ est integrable}\right\}\$ , sous différentes formes, e.g.
$\ \scriptstyle \left\{\forall n\ge1,\ \mathbb{E}\left[\left|X_{n}\right|\right]<+\infty\right\}\$ ,
$\ \scriptstyle \left\{\forall n\ge1,\ X_{n}\in\mathcal L^1(\Omega,\mathcal A,\mathbb P)\right\}\$ ,

ou bien encore, puisque les $\ \scriptstyle X_{i}\$ ont toutes même loi,

$\ \scriptstyle \left\{X_{1}\text{ est integrable}\right\}\$ ,
$\ \scriptstyle \left\{\mathbb{E}\left[\left|X_{1}\right|\right]<+\infty\right\}\$ ,
$\ \scriptstyle \left\{X_{1}\in\mathcal L^1(\Omega,\mathcal A,\mathbb P)\right\}\$ .

Démonstration de la loi forte de Kolmogorov

1ère étape de la démonstration : troncature

On suppose tout d'abord que les variables $\ \scriptstyle X_{n}\$ sont centrées. On n'abandonnera cette hypothèse qu'à la toute dernière étape de la démonstration. On pose

X^{'} n = X n 1_{∣ X_{n} ∣ \leq n},

S^{'} n = X^{'} 1 + X^{'} 2 + \dots + X^{'} n .

Dans cette section on démontre que

Proposition 1. — Soit une suite $\ \scriptstyle \left(X_{n}\right)_{n\ge 1}\$ de variables aléatoires indépendantes et de même loi, intégrables. Alors (la loi forte des grands nombres)

P (ω \in Ω l i m_{n} \frac{S _{n} ( ω )}{n} = 0) = 1.

est équivalente à

P (ω \in Ω l i m_{n} \frac{S _{n}^{'} ( ω )}{n} = 0) = 1.

Dans les sections suivantes on va donc démontrer que

P (ω \in Ω n lim \frac{S _{n}^{'} ( ω )}{n} = 0) = 1.

L'idée est que plus les variables concernées sont intégrables, i.e. plus la queue de distribution $P (∣ X_{1} - E (X_{1}) ∣ \geq x)$ décroît rapidement, plus il est facile de démontrer la loi forte des grands nombres à l'aide du lemme de Borel-Cantelli. Ainsi il est facile de démontrer une forme affaiblie de la loi forte des grands nombres, par exemple sous l'hypothèse que les variables $X_{n}$ sont i.i.d. bornées, auquel cas $P (∣ X_{1} - E (X_{1}) ∣ \geq x)$ est nulle pour $x$ assez grand, ou bien sous l'hypothèse, moins brutale, que les variables $X_{n}$ sont i.i.d. et possèdent un moment d'ordre 4, auquel cas $P (∣ X_{1} - E (X_{1}) ∣ \geq x) = O (x^{- 4})$ . Ici, en tronquant les $X_{n}$ , Kolmogorov s'est ramené à des variables $X_{n}^{'}$ bornées et indépendantes, mais qui n'ont pas même loi.

2ème étape de la démonstration : recentrage

Les $\ \scriptstyle X_{k}\$ ont beau être centrées, cela n'entraîne pas que les $\ \scriptstyle X^{\prime}_{k}\$ soient centrées, sauf si on suppose, par exemple, que les $\ \scriptstyle X_{k}\$ sont symétriques, i.e. sauf si $\ \scriptstyle X_{k}\$ a même loi que $\ \scriptstyle -X_{k}\$ . Par exemple, si $\ \scriptstyle f_{X_{1}}(x)=e^{-x-1}1_{[-1,+\infty[}(x)\$ , alors, dès que $\ \scriptstyle n\ge 1,\$ $\ \scriptstyle X^{\prime}_{k}\$ n'est pas centrée. Il est commode, pour la suite, de centrer les $\ \scriptstyle X^{\prime}_{k}\$ : on pose

Z_{k} = X^{'} k - E [X^{'} k],

C_{n} = Z_{1} + Z_{2} + \dots + Z_{n} .

Alors

Proposition 2. — Soit une suite $\ \scriptstyle \left(X_{n}\right)_{n\ge 1}\$ de variables aléatoires indépendantes et de même loi, intégrables. Alors

P (ω \in Ω l i m_{n} \frac{S _{n}^{'} ( ω )}{n} = 0) = 1

est équivalent à

P (ω \in Ω l i m_{n} \frac{C _{n} ( ω )}{n} = 0) = 1.

3ème étape : Inégalité de Kolmogorov

C'est l'étape où Kolmogorov utilise l'hypothèse d'indépendance (et, sans le dire, la notion de temps d'arrêt). Par contre, l'Inégalité de Kolmogorov ne requiert pas des variables de même loi.

Inégalité de Kolmogorov. — Soit une suite $\ \scriptstyle \left(Y_{n}\right)_{n\ge 1}\$ de v.a.r. indépendantes et centrées. Posons

W_{n} = Y_{1} + Y_{2} + \dots + Y_{n} .

Alors, pour tout $\ \scriptstyle x>0\$ ,

P (sup {∣ W_{n} ∣ ∣ n \geq 1} > x) \leq \frac{\sum _{n \geq 1} Var ( Y _{n} )}{x ^{2}} .

Voir aussi l'article en anglais sur le même sujet.

4ème étape : Convergence de séries de variables aléatoires

L'inégalité de Kolmogorov est, avec le lemme de Borel-Cantelli, l'ingrédient essentiel de la preuve de la proposition suivante :

Proposition 3. — Soit une suite $\ \ \scriptstyle \left(U_{n}\right)_{n\ge 1}\$ de v.a.r. indépendantes et centrées. Si

n \geq 1 \sum Var (U_{n}) < + \infty,

alors la suite $\ \scriptstyle T_{n}=U_{1}+U_{2}+\cdots+U_{n}\$ est convergente, ou bien, équivalemment, la série $\ \scriptstyle \sum_{n\ge 1}\ U_{n}\$ est convergente.

5ème étape : Lemme de Kronecker

Lemme de Kronecker. — Soit une suite $\ \scriptstyle \left(a_{n}\right)_{n\ge 1}\$ de nombres strictement positifs, décroissante vers 0. Si $\ \scriptstyle \sum_{n}a_{n}u_{n}\$ est une série convergente, alors

n lim a_{n} (u_{1} + u_{2} + \dots + u_{n}) = 0.

Pour conclure sa démonstration, Kolmogorov utilise le lemme de Kronecker avec $\ \scriptstyle a_{n}=\tfrac{1}{n} \$ , voir section suivante.

6ème étape : Conclusion dans le cas de variables centrées

Lemme 1. — Avec les notations de l'étape "recentrage", on a

k \geq 1 \sum Var (\frac{Z _{k}}{k}) < + \infty.

Du Lemme 1 et de la Proposition 3, on déduit que, presque sûrement,

la serie n \geq 1 \sum \frac{Z _{k} ( ω )}{k} est convergente,

puis, grâce au lemme de Kronecker, on déduit que, presque sûrement,

n lim \frac{C _{n} ( ω )}{n} = 0,

ce qui est équivalent à la loi forte des grands nombres (pour des variables centrées), comme on l'a vu aux étapes "troncature" et "recentrage".

7ème étape : décentrage

Si on ne suppose plus les $\ \scriptstyle X_{n} \$ centrées, mais seulement i.i.d. et intégrables, on pose

\hat{X} k = X k - E [X_{k}], \hat{S} n = \hat{X} 1 + \hat{X} 2 + \dots + \hat{X} n,

et, les étant centrées, i.i.d. et intégrables, la conclusion des étapes précédentes est que

P (ω \in Ω n lim \frac{S ^ _{n} ( ω )}{n} = 0) = 1.

Mais

\frac{S ^ n ( ω )}{n} = \frac{S n ( ω ) - n E [ X _{1} ]}{n} = \frac{S _{n} ( ω )}{n} - E [X_{1}] .

Donc

P (ω \in Ω n lim \frac{S ^ n ( ω )}{n} = 0) = P (ω \in Ω lim n \frac{S _{n} ( ω )}{n} = E [X_{1}]) .

C.Q.F.D.

Réciproque

Supposons que l'ensemble Ω_c défini par

Ω_{c} = {ω \in Ω \frac{S _{n} ( ω )}{n} est une suite convergente}

est de probabilité 1. Notons l(ω) la limite de la suite ci-dessus, lorsqu'elle est définie, i.e. lorsqu' ω appartient à Ω_c . L'ensemble Ω_c est inclus dans l'ensemble suivant

Ω_{0} = {ω \in Ω n lim \frac{∣ X _{n} ( ω ) ∣}{n} = 0}

puisque, lorsqu' ω appartient à Ω_c , on a

\frac{X _{n} ( ω )}{n} = \frac{S _{n} ( ω )}{n} - \frac{n - 1}{n} \frac{S _{n - 1} ( ω )}{n - 1} \to ℓ (ω) - 1 \times ℓ (ω) = 0.

Ainsi, l'ensemble Ω₀ lui aussi est de probabilité 1. Posons

A_{n} = {ω \in Ω ∣ ∣ X_{n} (ω) ∣ > n}

La limite supérieure des A_n est disjointe de l'ensemble Ω₀ , donc elle est de probabilité nulle. En vertu de la loi du zéro-un de Borel, on en déduit, puisque les événements A_n sont indépendants, que

+ \infty > n \geq 1 \sum P (∣ X_{n} ∣ > n) .

Par ailleurs, en toute généralité, comme on l'a vu lors de la première étape,

n \geq 1 \sum P (∣ X_{n} ∣ > n) = n \geq 1 \sum P (∣ X_{1} ∣ > n) = E [⌈ ∣ X_{1} ∣ ⌉ - 1] \geq - 1 + E [∣ X_{1} ∣] .