Quotient de Rayleigh

Restez toujours informé : suivez-nous sur Google (☆)

Introduction

Le quotient de Rayleigh est un nombre réel caractérisant l'effet d'une matrice symétrique (respectivement hermitienne) sur un vecteur, et offrant les deux propriétés fondamentales suivantes :

le quotient de Rayleigh atteint un extremum relatif pour les vecteurs propres de la matrice
l’application du quotient de Rayleigh à un vecteur propre donne la valeur propre correspondante.

Ces deux propriétés peuvent servir à déterminer numériquement les Valeur propre, vecteur propre et espace propre d'un opérateur hermitien ou symétrique.

Le quotient de Rayleigh, dont la propriété d'extremum peut être reliée au principe du minimum de l'énergie potentielle en mécanique, a été étudié pour la première fois par Rayleigh (1877). Walter Ritz reprit l'idée en 1909 pour en faire la base d’une méthode d’approximation variationnelle.

Définitions et propriétés caractéristiques

En mathématiques, pour une matrice hermitienne A à coefficients complexes et un vecteur x non nul, on appelle quotient de Rayleigh R(A,x) le scalaire :

\frac{x A x}{x x} .

où x désigne le vecteur adjoint de x, c'est-à-dire le conjugué du vecteur transposé.

Pour des matrices et des vecteurs à coefficients réels, le caractère hermitien se traduit par la caractère symétrique, et il faut substituer à la matrice adjointe x la transposée familière x'. Notez que

pour tout nombre réel c, R(A,c**x) = R(A,x).

Rappelons également que les valeurs propres d'une matrice symétrique (respectivement hermitienne) sont toutes réelles. On peut montrer que, sous ces conditions,

le quotient de Rayleigh atteint un minimum $λ_{min}$ (qui n'est autre que la plus petite valeur propre de A) lorsque x est un vecteur propre $v_{min}$ associé à cette valeur.
En outre, $R (A, x) \leq λ_{max}$ et $R (A, v_{max}) = λ_{max}$ . Le quotient de Rayleigh, combiné au théorème du minimax, permet de déterminer une à une toutes les valeurs propres d'une matrice. On peut également l'employer pour calculer une valeur approchée d'une valeur propre à partir d'une approximation d'un vecteur propre. Ces idées forment d'ailleurs la base de l’algorithme d’itération de Rayleigh.

Cas particulier des matrices de covariance

On peut factoriser une matrice de covariance Σ sous la forme A'A. Les valeurs propres d'une telle matrice sont positives, car :

Σv_i = λ_iv_i

A'A**v_i = λ_iv_i

v_i'A'A**v_i = v_i'λ_iv_i

∣ A v_{i} ∣^{2} = λ_{i} ∣ v_{i} ∣^{2}

λ_{i} = \frac{∣ A v _{i} ∣ ^{2}}{∣ v _{i} ∣ ^{2}} \geq 0.

Les vecteurs propres sont deux à deux orthogonaux :

Σv_i = λ_iv_i

v_j'Σv_i = λ_iv_j'v_i

(Σv_j)'v_i = λ_iv_j'v_i

λ_jv_j'v_i = λ_iv_j'v_i

(λ_j − λ_i)v_j'v_i = 0

v_j'v_i = 0 (pour des valeurs propres différentes ; en cas de multiplicité, la base de I**m(Σ) peut être orthogonalisée).

Disposant donc d'une base, on peut exprimer le quotient de Rayleigh en fonction des valeurs propres en décomposant un vecteur quelconque x sur cette base des vecteurs propres :

x = i = 1 \sum n α_{i} v_{i}

ρ = \frac{x ^{'} A ^{'} A x}{x ^{'} x}

ρ = \frac{( \sum _{j = 1}^{n} α _{j} v _{j} ) ^{'} A ^{'} A ( \sum _{i = 1}^{n} α _{i} v _{i} )}{( \sum _{j = 1}^{n} α _{j} v _{j} ) ^{'} ( \sum _{i = 1}^{n} α _{i} v _{i} )}

relation qui, de par l’orthogonalité des vecteurs propres, devient :

ρ = \frac{\sum _{i = 1}^{n} α _{i}^{2} λ _{i}}{\sum _{i = 1}^{n} α _{i}^{2}} .

Si un vecteur x rend maximal le scalaire ρ, alors tout vecteur k.x (car $k \neq = 0$ ) produira également ce maximum : il suffit donc de rechercher le vecteur propre de norme égale à 1 ; on peut donc imposer $\sum_{i = 1}^{n} α_{i}^{2} = 1$ .

Par la relation ci-dessus, il apparaît que la recherche d'un vecteur propre se ramène à la recherche d'un extremum de Lagrange, à savoir $\sum_{i = 1}^{n} α_{i}^{2} λ_{i} \to ma x$ sous la contrainte $\sum_{i = 1}^{n} α_{i}^{2} = 1$ .

Puisque toutes les valeurs propres sont positives, le problème est convexe et le maximum est atteint à la frontière du domaine, à savoir quand α₁ = 1 et $\forall i > 1, α_{i} = 0$ (en supposant que les valeurs propres soit numérotées par ordre de valeur décroissante).

On aboutit au même résultat par la méthode des multiplicateur de Lagrange. Le problème consiste alors à déterminer les points critiques de la fonction

ρ(x) = xΣx, sous la contrainte $∣ x ∣^{2} = x^{T} x = 1$ .

c’est-à-dire trouver les points critiques de

$L (x) = x^{T} Σ x - λ (x^{T} x - 1)$ ,

où λ est un multiplicateur de Lagrange. Les points stationnaires de $L (x)$ surviennent pour

\frac{d L ( x )}{d x} = 0

⟹ 2 x^{T} Σ - 2 λ x^{T} = 0

⟹ Σ x = λ x

et $ρ (x) = \frac{x ^{T} Σ x}{x ^{T} x} = λ \frac{x ^{T} x}{x ^{T} x} = λ .$

Par conséquent, les vecteurs propres $x_{1} \dots x_{n}$ of Σ ne sont autre que les points critiques du quotient de Rayleigh et les valeurs propres correspondantes $λ_{1} \dots λ_{n}$ sont les valeurs rendant ρ(x) stationnaire.

Cette propriété remarquable est à la base de l’analyse en composantes principales et des corrélations canoniques.

Méthode de Rayleigh-Ritz

La Théorie de Sturm-Liouville a trait à l’action de l’application linéaire

L (y) = \frac{1}{w ( x )} (- \frac{d}{d x} [p (x) \frac{d y}{d x}] + q (x) y)

sur l’espace préhilbertien des fonctions y(x) vérifiant des conditions aux limites particulières en x=a et b, muni du produit scalaire : $⟨ y_{1}, y_{2} ⟩ = \int_{a}^{b} w (x) y_{1} (x) y_{2} (x) d x$ .

Dans ce cas, le quotient de Rayleigh est

ρ (x) = \frac{⟨ y , L y ⟩}{⟨ y , y ⟩} = \frac{\int _{a}^{b} y ( x ) ( - \frac{d}{d x} [ p ( x ) \frac{d y}{d x} ] + q ( x ) y ( x ) ) d x}{\int _{a}^{b} w ( x ) y ( x ) ^{2} d x} .

On le présente parfois sous une forme équivalente, obtenue en découpant l'intégrale du numérateur et en intégrant par parties :

ρ (x) = \frac{⟨ y , L y ⟩}{⟨ y , y ⟩} = \frac{\int _{a}^{b} y ( x ) ( - \frac{d}{d x} [ p ( x ) y ^{'} ( x ) ] ) d x + \int _{a}^{b} q ( x ) y ( x ) ^{2} d x}{\int _{a}^{b} w ( x ) y ( x ) ^{2} d x}

= \frac{- y ( x ) [ p ( x ) y ^{'} ( x ) ] ∣ _{a}^{b} + \int _{a}^{b} y ^{'} ( x ) [ p ( x ) y ^{'} ( x ) ] d x + \int _{a}^{b} q ( x ) y ( x ) ^{2} d x}{\int _{a}^{b} w ( x ) y ( x ) ^{2} d x}

= \frac{- p ( x ) y ( x ) y ^{'} ( x ) ∣ _{a}^{b} + \int _{a}^{b} [ p ( x ) y ^{'} ( x ) ^{2} + q ( x ) y ( x ) ^{2} ] d x}{\int _{a}^{b} w ( x ) y ( x ) ^{2} d x} .

Pour déterminer une solution approchée $\overset{y}{ˉ} (x)$ de l’équation

- \frac{d}{d x} [p (x) \frac{d y}{d x}] + q (x) y = 0

vérifiant les conditions aux limites, on choisit un certain nombre de fonctions u₁,u₂,...,u_p vérifiant elles-mêmes les conditions aux limites, et on cherche la solution approchée comme une combinaison linéaire des p modes retenus : $\overset{y}{ˉ} (x) = \sum_{i = 1}^{p} α_{i} u_{i} (x)$ . Les coefficients inconnus α_i s’obtiennent en écrivant la stationnarité du quotient de Rayleigh : $\frac{\partial ρ}{\partial α _{i}} = 0$ , qui détermine p équations linéaires d'inconnues (α_i)_{i = 1...p}

Généralisation

On peut étendre la notion de quotient de Rayleigh à deux matrices symétriques définies positives réelles (A,B), et à un vecteur non-nul x, selon :

R (A, B; x) := \frac{x ^{T} A x}{x ^{T} B x} .

Ce « quotient de Rayleigh généralisé » se réduit au quotient de Rayleigh R(D,C**x) par la transformation D = C A**C où C est la factorisation de Cholesky de la matrice B.