Arma

Restez toujours informé : suivez-nous sur Google (☆)

Introduction

En statistiques, les modèles ARMA (modèles autorégressifs et moyenne mobile), ou aussi modèle de Box-Jenkins, sont les principaux modèles de séries temporelles.

Étant donné une série temporelle X_t, le modèle ARMA est un outil pour comprendre et prédire, éventuellement, les valeurs futures de cette série. Le modèle est composé de deux parties : une part autorégressive (AR) et une part moyenne-mobile (MA). Le modèle est généralement noté ARMA(p,q), où p est l'ordre de la partie AR et q l'ordre de la partie MA.

Modèle autorégressif

La notation AR(p) réfère au modèle autorégressif d'ordre p. Le modèle AR(p) se note

X_{t} = c + i = 1 \sum p φ_{i} X_{t - i} + ε_{t} .

où $φ_{1}, \dots, φ_{p}$ sont les paramètres du modèle, c est une constante et $ε_{t}$ un bruit blanc. La constante est bien souvent omise dans la littérature.

Des contraintes supplémentaires sur les paramètres sont nécessaires pour garantir la stationnarité. Par exemple, pour le modèle AR(1), les processus tels que |φ₁| ≥ 1 ne sont pas stationnaires.

Exemple : un processus AR(1)

Un modèle AR(1) est donné par :

X_{t} = c + φ X_{t - 1} + ε_{t},

où $ε_{t}$ est un bruit blanc, de moyenne nulle et de variance σ. Le modèle est stationnaire en variance si $∣ φ ∣ < 1$ . Si $φ = 1$ , alors le processus exhibe une racine unitaire (en), ce qui signifie qu'il est une marche aléatoire, et n'est pas stationnaire en variance. Supposons donc $∣ φ ∣ < 1$ , et en notant la moyenne μ, on obtient

E (X_{t}) = E (c) + φ E (X_{t - 1}) + E (ε_{t}) \Rightarrow μ = c + φ μ + 0.

Ainsi

μ = \frac{c}{1 - φ} .

En particulier, prendre c = 0 revient à avoir une moyenne nulle.

La variance vaut

var (X_{t}) = E (X_{t}^{2}) - μ^{2} = \frac{σ ^{2}}{1 - φ ^{2}} .

La fonction d'autocovariance se donne par

B_{n} = E (X_{t + n} X_{t}) - μ^{2} = \frac{σ ^{2}}{1 - φ ^{2}} φ^{∣ n ∣} .

On peut voir que la fonction d'autocovariance décroît avec un taux de $τ = - 1/ ln (φ)$ .

La densité spectrale de puissance est la transformée de Fourier de la fonction d'autocovariance. Dans le cas discret, cela s'écrit :

Φ (ω) = \frac{1}{2 π} n = - \infty \sum \infty B_{n} e^{- iω n} = \frac{1}{2 π} (\frac{σ ^{2}}{1 + φ ^{2} - 2 φ cos ( ω )}) .

Ce développement est périodique dû à la présence du terme en cosinus au dénominateur. En supposant que le temps d'échantillonnage (Δt = 1) est plus petit que le decay time (τ), alors on peut utiliser une approximation continue de B_n :

B (t) \approx \frac{σ ^{2}}{1 - φ ^{2}} φ^{∣ t ∣}

qui présente une forme lorentzienne pour la densité spectrale :

Φ (ω) = \frac{1}{2 π} \frac{σ ^{2}}{1 - φ ^{2}} \frac{γ}{π ( γ ^{2} + ω ^{2} )}

où γ = 1 / τ est la fréquence angulaire associée à τ.

Une expression alternative pour X_t peut être dérivée en substituant X_{t − 1} par $c + φ X_{t - 2} + ε_{t - 1}$ dans l'équation définissante. En continuant cette manipulation N fois fournit

X_{t} = c k = 0 \sum N - 1 φ^{k} + φ^{N} X_{t - N} + k = 0 \sum N - 1 φ^{k} ε_{t - k} .

Pour N devenant très grand, $φ^{N}$ s'approche de 0 et :

X_{t} = \frac{c}{1 - φ} + k = 0 \sum \infty φ^{k} ε_{t - k} .

On peut voir que X_t est le bruit blanc convolé avec le noyau $φ^{k}$ plus une moyenne constante. Si le bruit blanc est gaussien, alors X_t est aussi un processus normal. Dans les autres cas, le théorème central limite indique que X_t sera approximativement normal lorsque $φ$ est proche de l'unité.

Estimation des paramètres AR

Le modèle AR(p) est donné par

X_{t} = i = 1 \sum p φ_{i} X_{t - i} + ε_{t} .

Les paramètres à estimer sont $φ_{i}$ où i = 1, ..., p. Il y a une correspondance directe entre ces paramètres et la fonction de covariance (et donc d'autocorrélation) et on peut tirer les paramètres en inversant ces relations. Ce sont les équations de Yule-Walker :

γ_{m} = k = 1 \sum p φ_{k} γ_{m - k} + σ_{ε}^{2} δ_{m}

où m = 0, ... , p, ce qui donne en tout p + 1 équations. Les coefficients γ_m est la fonction d'autocorrélation de X, $σ_{ε}$ est la déviation (écart-type) du bruit blanc et δ_m le symbole de Kronecker.

La dernière partie de l'équation est non-nulle si m = 0 ; en prenant m > 0, l'équation précédente s'écrit comme un système matriciel

[γ_{1} γ_{2} γ_{3} ⋮] = [γ_{0} γ_{- 1} γ_{- 2} \dots γ_{1} γ_{0} γ_{- 1} \dots γ_{2} γ_{1} γ_{0} \dots ⋮ ⋮ ⋮ ⋱] [φ_{1} φ_{2} φ_{3} ⋮]

Pour m = 0, nous avons

γ_{0} = k = 1 \sum p φ_{k} γ_{- k} + σ_{ε}^{2}

qui permet de trouver $σ_{ε}^{2}$ .

Les équations de Yule-Walker procurent un moyen d'estimer les paramètres du modèle AR(p), en remplaçant les covariances théoriques par des valeurs estimées. Une manière d'obtenir ces valeurs est de considérer la régression linéaire de X_t sur ses p premiers retards.

Obtention des équations de Yule-Walker

L'équation définissante du processus AR est

X_{t} = i = 1 \sum p φ_{i} X_{t - i} + ε_{t} .

En multipliant les deux membres par X_{t − m} et en prenant l'espérance, on obtient

E [X_{t} X_{t - m}] = E [i = 1 \sum p φ_{i} X_{t - i} X_{t - m}] + E [ε_{t} X_{t - m}] .

Or, il se trouve que E[X_tX_{t − m}] = γ_m par définition de la fonction d'autocorrélation. Les termes du bruit blancs sont indépendants les uns des autres et, de plus, X_{t − m} est indépendant de ε_t où m est plus grand que zéro. Pour m > 0, E[ε_tX_{t − m}] = 0. Pour m = 0,

E [ε_{t} X_{t}] = E [ε_{t} (i = 1 \sum p φ_{i} X_{t - i} + ε_{t})] = i = 1 \sum p φ_{i} E [ε_{t} X_{t - i}] + E [ε_{t}^{2}] = 0 + σ_{ε}^{2},

Maintenant, on a pour m ≥ 0,

γ_{m} = E [i = 1 \sum p φ_{i} X_{t - i} X_{t - m}] + σ_{ε}^{2} δ_{m} .

Par ailleurs,

E [i = 1 \sum p φ_{i} X_{t - i} X_{t - m}] = i = 1 \sum p φ_{i} E [X_{t} X_{t - m + i}] = i = 1 \sum p φ_{i} γ_{m - i},

qui donne les équations de Yule-Walker :

γ_{m} = i = 1 \sum p φ_{i} γ_{m - i} + σ_{ε}^{2} δ_{m} .

pour m ≥ 0. Pour m < 0,

γ_{m} = γ_{- m} = i = 1 \sum p φ_{i} γ_{∣ m ∣ - i} + σ_{ε}^{2} δ_{m} .

Modèle moyenne mobile

La notation MA(q) réfère au modèle moyenne-mobile d'ordre q :

X_{t} = ε_{t} + i = 1 \sum q θ_{i} ε_{t - i}

où les θ₁, ..., θ_q sont les paramètres du modèle et ε_t, ε_t-1,... sont encore une fois des termes d'erreur.

Modèle autorégressif et moyenne-mobile

La notation ARMA(p, q) réfère le modèle avec p termes autoregressifs et q termes moyenne-mobile. Ce modèle contient à la fois les modèles AR(p) et MA(q) :

X_{t} = ε_{t} + i = 1 \sum p φ_{i} X_{t - i} + i = 1 \sum q θ_{i} ε_{t - i} .

Une note sur les termes d'erreur

Les termes d'erreur ε_t sont généralement supposés indépendants et identiquement distribués (i.i.d.) selon une loi normale de moyenne nulle : ε_t ~ N(0,σ) où σ est la variance. Ces hypothèses peuvent être assouplies mais ceci changerait les propriétés du modèle, comme par exemple supposer le simple caractère i.i.d.

Spécification en termes de l'opérateur de retard

Les modèles ARMA peuvent s'écrire en termes de L, qui est l'opérateur retard. Le modèle autorégressif AR(p) s'écrit

ε_{t} = (1 - i = 1 \sum p φ_{i} L^{i}) X_{t} = φ X_{t}

où φ représente le polynôme

φ = 1 - i = 1 \sum p φ_{i} L^{i} .

Pour le modèle moyenne mobile MA(q), on a

X_{t} = (1 + i = 1 \sum q θ_{i} L^{i}) ε_{t} = θ ε_{t}

où θ représente le polynôme

θ = 1 + i = 1 \sum q θ_{i} L^{i} .

Finalement, en combinant les deux aspects, on en tire l'écriture du modèle ARMA(p, q) :

(1 - i = 1 \sum p φ_{i} L^{i}) X_{t} = (1 + i = 1 \sum q θ_{i} L^{i}) ε_{t}

où plus court :

φ X_{t} = θ ε_{t} .

Modèle d'ajustement

Les modèles ARMA, une fois choisi les ordres p et q, peuvent être ajustés sur des données par la méthode des moindres carrés : on recherche les paramètres qui minimisent la somme des carrés des résidus. Prendre des valeurs de p et q les plus petites est généralement vu comme une bonne pratique (principe de parcimonie). Pour un modèle AR pur, les équations de Yule-Walker permettent de réaliser l'ajustement.