Le Théorème de Lie-Kolchin est un résultat de trigonalisabilité des sous-groupes connexes et résolubles du groupe des matrices complexes inversibles .
Définition — On dit que est trigonalisable s'il existe une base commune de trigonalisation à tout élément de E.
Théorème de Lie-Kolchin — Tout sous groupe connexe résoluble de est trigonalisable.
La preuve repose sur les deux lemmes suivants :
Lemme 1 — Soit une famille de matrices qui commutent de indexée par I un ensemble quelconque, alors est trigonalisable.
On raisonne par récurrence sur la dimension de l'espace : n.
Soit G une famille de matrices qui commutent de . Si toutes les matrices de G sont des matrices d'homothéties, le résultat est vrai. Supposons alors que ce ne soit pas le cas. Soit qui ne soit pas une matrice d'homothétie. Notons μ une valeur propre associée à M (toute matrice complexe admet une valeur propre car est trigonalisable).
Notons V = ker(M − μId) : on a car M n'est pas une matrice d'homothétie. Notons H un supplémentaire de V dans : on a avecNotons d la dimension de V.
Soit une base de adaptée à la décomposition en somme directe . Comme tous les éléments de G commutent, V est G-stable.
Ainsi dans la base toute matrice N de G s'écrit :
On vérifie que pour N' une matrice de G telle que ,
NN' = N'N entraine queAinsi, par hypothèse de récurrence, il existe une base de V dans laquelle toutes les matrices vN sont triangulaires supérieures. Toujours par hypothèse de récurrence, il existe une base de H telle que les matrices hN soient triangulaires supérieures.
Si on pose on a le résultat au rang n + 1.
La récurrence est donc établie et le lemme démontré.
Lemme 2 — Si G est un sous-groupe connexe de alors son groupe dérivé est connexe.
Soit S l'ensemble des commutateurs et . est connexe et Φ est continue donc est connexe. Soit et Sm l'ensemble des produits avec s . C'est l'image par l'application continue de Sm qui est connexe car S l'est. Ainsi, Sm est connexe. Or, , comme pour tout , est connexe.
Vient enfin la démonstration du théorème.
Montrons d'abord par récurrence sur n que s'il existe un sous-espace vectoriel propre , c'est-à-dire que et , qui est G-stable alors, on a le résultat.
Soit V un sous-espace vectoriel propre de G-stable.
Notons W un supplémentaire de V dans . On a bien sûr
Dans une base adaptée à la décomposition en somme directe, un élément M de G a pour forme :
De plus, si d est la dimension de V, les applications :
sont continues en tant que projections et sont des morphismes de groupes. Or l'image d'un groupe résoluble par un morphisme de groupe est résoluble. L'image d'un connexe par une application continue étant connexe on peut appliquer l'hypothèse de récurrence à V et W, à savoir qu'il existe une base commune de trigonalisation pour chaque sous espace et en concaténant les deux bases obtenues, on a le résultat pour n + 1.
Ceci achève la démonstration dans le cas où il existe des sous-espaces propres G-stable.
On va maintenant prouver que dans le cas où il n'existe pas de sous-espace propre G-stable, alors G est commutatif, ce qui grâce au lemme démontrera le résultat.
Supposons par l'absurde qu'il existe m > 1 tel que
Soit . Par définition H est commutatif. Donc il existe une base de trigonalisation commune de H.
On va montrer qu'en fait l'ensemble H est diagonalisable. Notons soit vecteur propre commun à tous les éléments de , c'est un sous-espace vectoriel de . On va montrer que V n'est pas réduit au vecteur nul et qu'il est G-stable. Le fait que V ne soit pas réduit à {0} est dû au fait que H soit trigonalisable (il existe un vecteur propre commun à tous les éléments de H) donc .
Soit , et , on a : NMv = M(M − 1NM)v. Donc (car H est distingué dans G) d'où, il existe tel que M − 1NMv = λv (car v est commun à tous les éléments de H).
Ainsi, NMv = λMv donc donc V est G-stable : par hypothèse .
Les éléments de H sont donc diagonalisable dans une base commune.
Montrons alors que .
Fixons et observons l'application . car H est distingué dans G.
Φ est continue donc Φ(G) est connexe.
De plus, MNM − 1 est diagonalisable car N l'est et a les même valeurs propres que N. Φ(G) a donc un nombre fini d'éléments. Comme Φ(G) est connexe, il n'y en a qu'un d'où Φ(G) = {Φ(Id)} = {N}, ainsi .
On montre alors que tous les éléments de H sont des homothéties c'est-à-dire que N = λNH. Soit et W un espace propre de N. Comme N commute avec tout élément de G, W est G-stable donc .
Or car m > 1 donc comme le déterminant d'un commutateur est 1 on a et donc pour tout : H est nécessairement fini.
De plus d'après le lemme 2 H est connexe donc H est réduit à un élément donc nécessairement H = {Id}, ce qui est contradictoire. G est donc commutatif, ce qui démontre le théorème.