Régression linéaire

En statistiques, étant donné un échantillon aléatoire $(Y_i,X_i),i=1,\dots ,n$ un modèle de régression simple suppose la relation affine suivante entre Y_i et X_i:

La régression linéaire consiste à déterminer une estimation des valeurs a et b et à quantifier la validité de cette relation grâce au coefficient de corrélation linéaire. La généralisation à p variables explicatives de ce modèle est donnée par

et s'appelle la régression linéaire multiple.

Empiriquement, à partir d'observations $(y_i,x_i),i=1,\dots ,n$, on a représenté dans un graphe l'ensemble de ces points représentant des mesures d'une grandeur y_i en fonction d'une autre x_i, par exemple la taille y_i des enfants en fonction de leur âge x_i.

Les points paraissent alignés. On peut alors proposer un modèle linéaire, c'est-à-dire chercher la droite dont l'équation est y_i = a**x_i + b et qui passe au plus près des points du graphe.

Passer au plus près, selon la méthode des moindres carrés, c'est rendre minimale la somme des carrés des écarts des points à la droite

où (y_i - ax_i - b)² représente le carré de la distance verticale du point expérimental (y_i,x_i) à la droite considérée comme la meilleure.

Cela revient donc à déterminer les valeurs des paramètres a et b (respectivement le coefficient directeur de la droite et son ordonnée à l'origine) qui minimisent la somme ci-dessus.

• Moyenne empirique des x_i : $\overline{x}=\frac{1}{n}{\sum }_{i=1}^n{x}_i$.
• Moyenne empirique des y_i : $\overline{y}=\frac{1}{n}{\sum }_{i=1}^n{y}_i$.
• Point moyen: $G(\overline{x},\overline{y})$.
• Variance empirique des x_i : $S_X^2=\frac{1}{n}{\sum }_{i=1}^n(x_i-\overline{x}{)}^2=\overline{x^2}-{\overline{x}}^2$.
• Ecart-type empirique des x_i : $S_X=\sqrt{S_X^2}=\sqrt{V(x)}$.
• Variance empirique des y_i : $S_Y^2=\frac{1}{n}{\sum }_{i=1}^n(y_i-\overline{y}{)}^2=\overline{y^2}-{\overline{y}}^2$.
• Ecart-type empirique des y_i : $S_Y=\sqrt{V(y)}$.
• Covariance empirique des x_i, y_i : $S_{XY}=\frac{1}{n}{\sum }_{i=1}^n(x_i-\overline{x})(y_i-\overline{y})=\overline{x\cdot y}-\overline{x}\cdot \overline{y}$.

La formule de la variance se retient par la mnémonique : La moyenne des carrés moins le carré de la moyenne

de même pour la covariance : La moyenne du produit moins le produit des moyennes.

La droite rendant minimale la somme précédente passe par le point G et a pour coefficient directeur $\frac{S_{XY}}{S_X^2}$. Son équation est donc :

soit

Si l'on appelle ε_i l'écart vertical entre la droite et le point (x_i , y_i )

alors l'estimateur de la variance résiduelle σ²_ε est :

la variance de a, σ²_a , est estimée par

$\hat{\sigma }{a}^2=\frac{\hat{\sigma }{\epsilon }^2}{n\cdot V(x)}$.

On est dans le cadre d'un test de Student sur l'espérance avec écart type inconnu. Pour un niveau de confiance α donné, on estime que l'erreur sur a est :

où t_(1-α/2) est le quantile d'ordre α/2 de la loi de Student à n-2 degrés de liberté.

L'erreur commise en remplaçant la valeur mesurée y_i par le point de la droite ax_i + b est :

À titre d'illustration, voici quelques valeurs de quantiles.

Lorsque le nombre de points est important (plus de 100), on prend souvent une erreur à 3σ, qui correspond à un niveau de confiance de 99,7 %.

On peut aussi chercher la droite D' : x = a'y + b' qui rende minimale la somme :

On trouve alors une droite qui passe aussi par le point moyen G et telle que

$a^{\prime }=\frac{S_{XY}}{S_Y^2}$.

On souhaite évidemment tomber sur la même droite. Ce sera le cas si et seulement si

a' = 1/a,

c'est-à-dire si

aa' = 1.

Les droites sont confondues si et seulement si

c'est-à-dire si et seulement si

On appelle cette quantité $R=\frac{S_{XY}}{S_X{S}_Y}$ le coefficient de corrélation linéaire entre x et y. On peut démontrer que ce nombre est toujours compris entre -1 et 1.

En pratique sa valeur absolue est rarement égale à 1, mais on estime généralement que l'ajustement est valide dès que ce coefficient est assez proche de 1 ou -1.

Voir également : Corrélation (mathématiques).

1ère étape : détermination de b

Pour tout réel a, on pose $f_a(b)={\sum }_{i=1}^n(y_i-a{x}_i-b{)}^2$. Il suffit de développer et ordonner ce polynôme du second degré en b. On obtient:

Ce polynôme atteint son minimum en

Ce qui signifie que la droite passe par le point moyen G

Il reste à remplacer dans la somme de départ, b par cette valeur.

2ème étape : détermination de a

Pour tout réel a, $S(a)={\sum }_{i=1}^n((y_i-\overline{y})-a(x_i-\overline{x}){)}^2$. Il suffit de développer et ordonner ce polynôme du second degré en a. On obtient

$S(a)=n\times V(x)\times a^2-2\times n\times cov(x,y)\times a+n\times V(y)$.

Ce polynôme atteint son minimum en

La droite de régression est bien la droite passant par G et de coefficient directeur $a=\frac{cov(x,y)}{V(x)}$.

Dans l'espace ${\mathbb{R}}^n$, muni du produit scalaire canonique, on considère le vecteur X de coordonnées (x₁,x₂,...,x_n), le vecteur Y de coordonnées (y₁,y₂,...,y_n), le vecteur U de coordonnées (1, 1, ..., 1).

On peut remarquer que :

• $X.U=n\overline{x}$
• $Y.U=n\overline{y}$
• $||X-\overline{x}U|{|}^2=n.V(x)$
• $||Y-\overline{y}U|{|}^2=n.V(y)$
• $(Y-\overline{y}U).(X-\overline{x}U)=n\mathrm{cov}(x,y)$

On note alors $\overline{X}$ le vecteur $\overline{x}U$ et $\overline{Y}$ le vecteur $\overline{y}U$

Le vecteur Z de coordonnées (a**x₁ + b,a**x₂ + b,...,a**x_n + b) appartient à l'espace vectoriel engendré par X et U.

La somme ${\sum }_{i=1}^n(y_i-a{x}_i-b{)}^2$ représente le carré de la norme du vecteur Y − Z.

Cette norme est minimale si et seulement si Z est le projeté orthogonal de Y dans l'espace vectoriel vect(X,U).

Z est le projeté de Y dans l'espace vectoriel vect(X,U) si et seulement si (Z − Y).U = 0 et $(Z-Y).(X-\overline{X})=0$.

Or $(Z-Y).U=aX.U+b{U}^2-Y.U=n(a\overline{x}+b-\overline{y})$ donc (Z-Y).U=0 signifie que $b=\overline{y}-a\overline{x}$.

En remplaçant dans $(Z-Y).(X-\overline{X})$, on obtient

$(a(X-\overline{X})-(Y-\overline{Y})).(X-\overline{X})=naV(x)-n\mathrm{cov}(x,y)$ donc $(Z-Y).(X-\overline{X})=0$ signifie que $a=\frac{\mathrm{cov}(x,y)}{V(x)}$

Enfin le coefficient de corrélation linéaire s'écrit alors $\frac{(X-\overline{X}).(Y-\overline{Y})}{||X-\overline{X}||\times ||Y-\overline{Y}||}$. Cette quantité représente le cosinus de l'angle formé par les vecteurs $X-\overline{X}$ et $Y-\overline{Y}$.

On retrouve alors les résultats suivants:

• si le coefficient de corrélation linéaire est 1 ou -1, les vecteurs $X-\overline{X}$ et $Y-\overline{Y}$ sont colinéaires de coefficient de colinéarité a et $Y=aX+\overline{Y}-a\overline{X}$. L'ajustement linéaire est parfait.
• si le coefficient de corrélation linéaire est en valeur absolue supérieur à $\sqrt{3}/2$ alors l'angle formé par les deux vecteurs est compris entre − π / 6 et π / 6 ou entre 5π / 6 et 7π / 6.

Lorsqu'on dispose de plusieurs variables explicatives dans une régression linéaire, il est souhaitable d'avoir recours aux notations matricielles. Si l'on dispose d'un jeu de n données (y_i)_{i = 1..n} que l'on souhaite expliquer par k variables explicatives (y compris la constante) $(1;x_{1,i};\cdots ;x_{k-1,i}{)}_{i=\mathrm{1..}n}$, on peut poser:

La régression linéaire s'exprime sous forme matricielle:

et il est question d'estimer le vecteur de coefficients k × 1 $\mathbf{\beta }$.

Son estimateur par moindre carré est:

Il faut que la matrice X soit de plein rang ($\mathrm{r}ang(\mathbf{X})=k$) afin que ${\mathbf{X}}^T\mathbf{X}$ soit inversible.

L'estimation de la matrice (symétrique) de variance-covariance de cet estimateur est:

Le terme ${\hat{\mathbf{e}}}^T\hat{\mathbf{e}}$ représente la somme des carrés des résidus ; $\hat{\mathbf{e}}=y-\hat{\mathbf{y}}=y-\mathbf{X}\hat{\mathbf{\beta }}$.

La qualité de l'ajustement linéaire se mesure encore par un coefficient de corrélation R, défini ici par:

où SCR (respectivement SCT) représente la somme des carrés des résidus (respectivement la somme des carrés totaux). Ces sommes s'écrivent $\mathrm{S}CR={\sum }_i({\hat{y}}_i-y_i{)}^2$ et $\mathrm{S}CT={\sum }_i(\overline{y}-y_i{)}^2$.