Un endomorphisme nilpotent est un morphisme d'un objet mathématique sur lui-même, qui, composé par lui-même un nombre suffisant de fois, donne le morphisme nul. C’est donc (lorsque les endomorphismes de cet objet forment un anneau) un élément nilpotent de cet anneau.
En algèbre linéaire, on considère les endomorphismes nilpotents d’un espace vectoriel. Un exemple est donné dans l'illustration. Ils interviennent dans la réduction des endomorphismes, c’est-à-dire la représentation d'un endomorphisme quelconque sous une forme la plus simple possible. Cette réduction sert par exemple pour la résolution d'équations différentielles linéaires.
On retrouve également le concept de nilpotence dans l'étude des groupe de Lie, avec l'analyse des algèbres de Lie nilpotentes.
Les endomorphismes nilpotents d'un espace vectoriel sont l'objet principal de cet article. Lorsque de plus cet espace est de dimension finie, chacun de ses endomorphismes est représenté par une matrice (dans une base de l'espace vectoriel concerné). L'endomorphisme est alors nilpotent si et seulement s'il a une matrice nilpotente, ce qui, par le calcul, permet une approche plus concrète du concept (toutes les propriétés générales des endomorphismes nilpotents ont leur pendant dans le contexte plus particulier des matrices nilpotentes), et offre d'importantes applications pratiques.
Soit E un espace vectoriel sur un corps K et u un endomorphisme de E. L'endomorphisme u est dit nilpotent si et seulement s'il existe un entier n>0 tel que un = 0. Le plus petit entier naturel n vérifiant cette propriété est alors appelé indice (de nilpotence) de l'endomorphisme u.
Soit x un vecteur de E, on appelle indice de x (pour l'endomorphisme nilpotent u) le plus petit entier naturel p tel que up(x) = 0.
Un sous-espace cyclique de E (pour l'endomorphisme nilpotent u) est un sous-espace vectoriel de E engendré par une famille de la forme (x, u(x), u2(x), ..., up-1(x)), où x est un vecteur d'indice p.
L'exemple illustre l'essentiel des propriétés des endomorphismes nilpotents. On y trouve des propriétés sur l'indice des endomorphismes et des vecteurs, des conditions nécessaires et suffisantes grâce aux polynômes. Des réductions avec une décomposition en espaces propres et l'existence d'une base réduite. Il existe aussi des propriétés calculatoires des matrices nilpotentes traitées dans l'article Matrice nilpotente.
L'indice d'un endomorphisme nilpotent possède deux grandes propriétés :
Les polynômes fournissent non seulement des conditions nécessaires et suffisantes pour la nilpotence, mais renseignent de plus sur l'indice.
Le principe de réduction consiste à trouver une décomposition en somme directe de sous-espaces stables de l'espace vectoriel. Il en existe une pour les endomorphismes nilpotents. Et elle est compatible avec la réduction de Jordan. Cette approche est générale à l'analyse des endomorphismes. Dans le cas des endomorphismes nilpotents, elle est intimement liée à la notion de base réduite. Tout endomorphisme nilpotent u d'un espace vectoriel E non réduit au vecteur nul vérifie les propriétés suivantes :
Par définition de la nilpotence, Xp est un polynôme annulateur de l'endomorphisme u, et ce n'est le cas d'aucun de ses diviseurs stricts. Comme est un anneau euclidien, et donc qu'il vérifie l'identité de Bezout, le polynôme unitaire Xp divise tous les polynômes annulateurs de u : on dit que Xp est le polynôme minimal de u. De la même façon où px est l'indice du vecteur x, est le plus petit polynôme unitaire au sens de la divisibilité qui, appliqué à u, annule x, c'est-à-dire le polynôme minimal de x. Cela a pour conséquence immédiate qu'aucun polynôme de u non nul de degré strictement inférieur à px n'annule x, ce qui se traduit sur l'espace vectoriel par :
En effet le polynôme minimal d'un vecteur divise le polynôme minimal de l'endomorphisme, donc est un Xk, pour k ≤ p, et si aucun n'était de degré p, Xp − 1 annulerait u.
Cette proposition est une conséquence directe des deux résultats précédents.
Démontrons ce résultat par récurrence sur l'indice p de l'endomorphisme.
Si p est égal à 1, l'endomorphisme est nul et le résultat est trivial.
Supposons le résultat vrai pour p et démontrons le pour p+1. Soit u un endomorphisme d'indice p+1. Considérons alors la restriction de u à u(E). C'est un endomorphisme nilpotent d'indice p. Par hypothèse de récurrence, u(E) est somme directe de sous-espaces cycliques Fi pour i appartenant à un certain ensemble I d'indices. Chaque Fi admet une base de la forme , où yi est un vecteur d'indice pi de u(E), donc yi=u(xi) pour un vecteur xi d'indice pi+1 de E.
La famille étant une base de u(E), la sous-famille est libre. Comme les vecteurs de cette sous-famille libre appartiennent au noyau de u, on peut compléter celle-ci en une base de ce noyau, en rajoutant des vecteurs que l'on notera (pour un ensemble J d'indices supplémentaires). Puisque ces nouveaux vecteurs sont des vecteurs non nuls du noyau, ils sont d'indice 1. Posons (pour uniformiser les notations) pi = 0 pour : ainsi, pour tout indice , xi est d'indice pi + 1.
Montrons que E est la somme directe des sous-espaces cycliques associés à tous ces xi, c'est-à-dire montrons que est une base de E. Cette famille est constituée de , dont l'image par u est une base de u(E), et de , qui est une base du noyau. La conclusion souhaitée en résulte (voir l'article théorème du rang).
La restriction de u à Ei est un endomorphisme nilpotent, son polynôme minimal est une puissance de X, la seule valeur propre est 0 et comme 0 est valeur propre, le noyau est non nul. Ce raisonnement s'applique aussi à u sur l'espace vectoriel entier, ce qui démontre la fin de la proposition.
La seule valeur propre est 0, donc sur sa clôture algébrique, le polynôme caractéristique est scindé et possède pour racine uniquement 0. Ce polynôme est donc une puissance de X, et de degré n. Son signe provient du signe du monôme de plus haut degré de tous les polynômes caractéristiques.