Cumulants (statistiques)

Restez toujours informé : suivez-nous sur Google (☆)

Introduction

Dans la théorie des probabilités et en statistiques, une variable aléatoire X a une espérance mathématique μ = E(X) et une variance σ = E((X − μ)). Ce sont les deux premiers cumulants : μ = κ₁ et σ = κ₂.

Les cumulants κ_n sont définis par la fonction génératrice des cumulants qui est g(t) :

g (t) = lo g (E (e^{t \cdot X})) = n = 1 \sum \infty κ_{n} \frac{t ^{n}}{n !} = μ t + σ^{2} \frac{t ^{2}}{2} + \dots .

Elle est donc intimement liée à la fonction génératrice des moments et à la fonction caractéristique de la variable X. Les cumulants sont donnés par les dérivées en 0 de g(t) :

κ₁ = μ = g' (0),

κ₂ = σ = g' '(0),

κ_n = g (0).

Une distribution avec des cumulants κ_n donnés peut être approchée par un développement d'Edgeworth.

Comme indiqué plus haut, les cumulants d'une distribution sont liés aux moments de la distribution. Travailler avec la fonction génératrice des cumulants est plus pratique dans la mesure où pour des variables indépendantes X et Y,

g_{X + Y} (t) = lo g (E (e^{t \cdot (X + Y)})) = lo g (E (e^{tX}) \cdot E (e^{t Y})) = lo g (E (e^{tX})) + lo g (E (e^{t Y})) = g_{X} (t) + g_{Y} (t) .

tandis qu'avec la fonction génératrice des moments M_X, on obtient

$M_{X + Y} (t) = E (e^{t \cdot (X + Y)}) = E (e^{tX}) \cdot E (e^{t Y}) = M_{X} (t) \cdot M_{Y} (t)$ .

Il faut enfin remarquer que :

g_{α X} (t) = lo g (E (e^{t \cdot α X})) = g_{X} (α t) .

Certains auteurs préfèrent définir la fonction génératrice des cumulants directement à partir de la fonction caractéristique d'une variable aléatoire

h (t) = lo g (E (e^{i tX})) = n = 1 \sum \infty κ_{n} \cdot \frac{( i t ) ^{n}}{n !} = μ i t - σ^{2} \frac{t ^{2}}{2} + \dots .

La caractérisation des cumulants est valide même pour les distributions dont les plus hauts moments n'existent pas.

Cumulants de quelques distributions discrètes

La variable aléatoire constante X = 1. La dérivée de la fonction génératrice des cumulants est g'(t) = 1. Le premier cumulant est donc κ₁ = g '(0) = 1 et tous les autres cumulants sont nuls, κ₂ = κ₃ = κ₄ = ... = 0.
La variable aléatoire Y = μ se déduit de la variable aléatoire précédente. La fonction génératrice des cumulants est donc g_Y(t) = g_X(μt) = μt. Bref, chaque cumulant est juste μ fois les cumulants précédents. On a donc κ₁ = g '(0) = μ et les autres cumulants sont nuls, κ₂ = κ₃ = κ₄ = ... = 0.
La loi de Bernoulli (nombre de succès dans une épreuve avec une probabilité de succès p). Le cas spécial p = 1 revient à la variable aléatoire X = 1. La fonction génératrice est g(t) = ln(p**e + (1 − p)). Sa dérivée est g '(t) = ((p−1)·e + 1). Finalement, les cumulants sont κ₁ = g '(0) = p et κ₂ = g ' '(0) = p·(1−p) . Les cumulants vérifient la formule de récurrence $κ_{n + 1} = p \cdot (1 - p) \cdot \frac{d κ _{n}}{d p} .$
La loi géométrique (nombre de défaillances avant un succès, avec une probabilité de succès p à chaque expérience). La dérivée de la fonction génératrice des cumulants est g '(t) = ((1−p)·e−1). Les premiers cumulants sont κ₁ = g '(0) = p−1, et κ₂ = g ' '(0) = κ₁·p. En posant p = (μ+1), on obtient g '(t) = ((μ+1)·e−1) et κ₁ = μ.
La loi de Poisson. La dérivée de la fonction génératrice des cumulants est g '(t) = μ·e. Tous les cumulants sont égaux au paramètre: κ₁ = κ₂ = κ₃ = ...=μ.
La loi binomiale (n répétitions indépendantes de l'expérience de Bernouilli décrite plus haut). Chaque cumulant est juste n fois le cumulant associé de la loi de Bernouilli. La dérivée de la fonction génératrice des cumulants est g '(t) = n·((p−1)·e + 1). Les premiers cumulants sont κ₁ = g '(0) = n·p et κ₂ = g ' '(0) = κ₁·(1−p). En posant p = μ·n cela donne g '(t) = ((μ−n)·e+n) et κ₁ = μ. Le cas limite n = 0 est une loi de Poisson.
La loi binomiale négative (nombre d'échecs avant n succès avec une probabilité de succès p à chaque expérience). Le cas spécial n = 1 est la loi géométrique. La dérivée de la fonction génératrice des cumulants est g '(t) = n·((1−p)·e−1). The first cumulants are κ₁ = g '(0) = n·(p−1), et κ₂ = g ' '(0) = κ₁·p. En posant p = (μ·n+1), cela donne g '(t) = ((μ+n)·e−n) et κ₁ = μ. Comparer ces formules à celles de la loi binomial permet de justifier le nom de 'loi binomiale négative'. Le cas limite n = 0 est encore la loi Poisson.

En introduisant $ϵ = μ^{- 1} σ^{2} = k_{1}^{- 1} k_{2}$ , les distributions précédentes donnent une formule unifiée pour la dérivée de la fonction génératrice des cumulants :

g^{'} (t) = μ \cdot (1 + ϵ \cdot (e^{- t} - 1))^{- 1} .

La dérivée seconde est

g^{''} (t) = g^{'} (t) \cdot (1 + e^{t} \cdot (ϵ^{- 1} - 1))^{- 1}

confirmant que le premier cumulant est κ₁ = g '(0) = μ et que le second cumulant est κ₂ = g ' '(0) = μ·ε. Les variables aléatoires constantes X = μ sont telles que є = 0. Les lois binomiales vérifient є = 1 − p si bien que 0<є<1. Les lois de Poisson vérifient є = 1 tandis que les lois binomiales négatives se caractérisent par є = p si bien que є > 1. Il faut noter l'analogie avec l'excentricité des coniques: cercles є = 0, ellipses 0 < є < 1, paraboles є = 1, hyperboles є > 1.

Cumulants de certaines lois continues

Pour la loi normale, d'espérance μ et de variance σ, la dérivée de la fonction génératrice des cumulants est g '(t) = μ + σ·t. Les cumulants sont donc κ₁ = μ, κ₂ = σ, et κ₃ = κ₄ = ... = 0. Le cas spécial σ = 0 conduit à une variable constante: X = μ.
Les cumulants pour la loi uniforme sur l'intervalle [−1, 0] sont κ_n = B_n/n, où B_n est le n-ième nombre de Bernoulli.

Quelques propriétés des cumulants

Invariance

Les cumulants vérifient pour tout variable aléatoire X et tout constante c les relations: κ₁(X + c) = κ₁(X) + c et κ_n(X + c) = κ_n(X) pour n ≥ 2. Pour résumer, c est ajouté au premier cumulant, et tous les cumulants d'ordre supérieur sont inchangés.

Homogénéité

Le n-ième cumulant est homogène de degré n, c'est-à-dire si c est une constante, alors:

κ_n(c**X) = cκ_n(X).

Additivité

Si X et Y sont indépendants, alors κ_n(X + Y) = κ_n(X) + κ_n(Y).

Un résultat en demie-teinte

Sachant les résultats des cumulants de la loi normale, on pourrait espérer trouver des distributions pour lesquelles κ_m = κ_m+1 = ... = 0 pour un m>3, et où les cumulants d'ordre inférieur (ordres 3 à m -1) sont non-nuls. Il n'existe pas de telles distributions . Le résultat sous-jacent est que la fonction génératrice des cumulants ne peut être un polynôme de degré fini, et de degré plus grand que 2.

Cumulants et moments

La fonction génératrice des moments est :

1 + n = 1 \sum \infty \frac{μ ^{'} n t ^{n}}{n !} = exp (\sum n = 1^{\infty} \frac{κ _{n} t ^{n}}{n !}) = exp (g (t)) .

si bien que la fonction génératrice des cumulants est le logarithme de la fonction génératrice des moments. Le premier cumulant est l'espérance; les deuxième et troisième cumulants sont respectivement les deuxième et troisième moments centrés (le moment centré d'ordre 2 est la variance); mais les cumulants d'ordre supérieur ne sont pas égaux aux moments non-centrés, pas plus qu'aux moments centrés. Ce sont plutôt des polynômes de ces moments.

Les cumulants sont liés aux moments par la formule de récurrence :

κ_{n} = μ^{'} n - \sum k = 1^{n - 1} (k - 1 n - 1) κ_{k} μ_{n - k}^{'} .

Le n-ème moment μ′_n est un polynôme de degré n des n premiers cumulants:

μ_{1}^{'} = κ_{1}

μ_{2}^{'} = κ_{2} + κ_{1}^{2}

μ_{3}^{'} = κ_{3} + 3 κ_{2} κ_{1} + κ_{1}^{3}

μ_{4}^{'} = κ_{4} + 4 κ_{3} κ_{1} + 3 κ_{2}^{2} + 6 κ_{2} κ_{1}^{2} + κ_{1}^{4}

μ_{5}^{'} = κ_{5} + 5 κ_{4} κ_{1} + 10 κ_{3} κ_{2} + 10 κ_{3} κ_{1}^{2} + 15 κ_{2}^{2} κ_{1} + 10 κ_{2} κ_{1}^{3} + κ_{1}^{5}

μ_{6}^{'} = κ_{6} + 6 κ_{5} κ_{1} + 15 κ_{4} κ_{2} + 15 κ_{4} κ_{1}^{2} + 10 κ_{3}^{2} + 60 κ_{3} κ_{2} κ_{1} + 20 κ_{3} κ_{1}^{3} + 15 κ_{2}^{3} + 45 κ_{2}^{2} κ_{1}^{2} + 15 κ_{2} κ_{1}^{4} + κ_{1}^{6} .

Les coefficients sont précisément ceux qui apparaissent dans la formule de Faà di Bruno.

Les moments μ′_n ne doivent pas être confondus avec les moments centrés μ_n. Pour exprimer les moments centraux en fonction des cumulants, il suffit d'ignorer tous les termes dans lesquels on trouve le facteur κ₁:

μ_{1} = 0

μ_{2} = κ_{2}

μ_{3} = κ_{3}

μ_{4} = κ_{4} + 3 κ_{2}^{2}

μ_{5} = κ_{5} + 10 κ_{3} κ_{2}

μ_{6} = κ_{6} + 15 κ_{4} κ_{2} + 10 κ_{3}^{2} + 15 κ_{2}^{3} .

Lien avec la physique statistique

En physique statistique, un système à l'équilibre avec un bain thermique à température T = 1 / β peut occuper des états d'énergie E. Soit f(E) la densité d'états d'énergie E. La fonction de partition du système est donné par

Z(β) = < exp( − βE) >

L'énergie libre du système est définie par

F(β) = ( − 1 / β)log(Z)

L'énergie libre du système donne accès à l'ensemble des propriétés thermodynamiques du système comme son énergie interne, son entropie, sa chaleur spécifique…

Histoire

Les cumulants ont été introduits en 1889 par l'astronome, mathématicien et actuaire danois Thorvald Nicolai Thiele (1838 - 1910) in 1889. Thiele les appelle alors half-invariants (demi-invariants). Il faut attendre 1931 pour trouver l'appellation cumulants dans le papier, The derivation of the pattern formulae of two-way partitions from those of simpler patterns, Proceedings of the London Mathematical Society, Series 2, v. 33, pp. 195-208, par le grand statisticien Ronald Aylmer Fisher et par John Wishart. L'historien Stephen Stigler reporte que le nom cumulant fut suggéré à Fisher dans une lettre de Harold Hotelling. La fonction de partition en physique statistique pour l'ensemble canonique a été introduit par Josiah Willard Gibbs en 1901.