En mathématiques, et plus particulièrement en algèbre linéaire, la réduction d'endomorphisme est une technique mathématique qui a pour objectif d'exprimer des matrices et des endomorphismes sous une forme plus simple, notamment pour faciliter les calculs. Cela consiste essentiellement à trouver une base de l'espace vectoriel qui permet d'exprimer plus simplement l'endomorphisme dans cette nouvelle base, et à décomposer l'espace en sous-espace vectoriels stables par l'endomorphisme.
La technique de réduction en algèbre est fréquente, elle consiste à réduire un concept, en sous-concepts les plus simples possible et permettant de reconstruire le cas général. Dans le cas des endomorphismes (c’est-à-dire des applications linéaires d'un espace vectoriel dans lui-même) la technique consiste à décomposer l'espace vectoriel en espaces plus petits. Cette réduction doit posséder six propriétés :
Toutefois, elle n'est pas unique.
La structure d'espace vectoriel sur lequel s'applique l'endomorphisme possède des propriétés différentes selon les cas. Dans l'hypothèse où la dimension est finie, alors la structure du corps détermine l'essentiel des propriétés de réduction. Une approche très générale, pour établir la relation entre la structure du corps et la réduction des endomorphismes consiste à analyser la structure de l'anneau des polynômes associée au corps. Cette approche est analysée dans l'article polynôme d'endomorphisme. Le cas le plus simple est celui où le corps est dit algébriquement clos, c'est-à-dire que tout polynôme admet au moins une racine. C'est le cas des nombres complexes. Alors la réduction est particulièrement efficace. La notion de valeur propre devient le bon outil dans ce contexte. Lorsqu'il existe une base de vecteurs propres, on parle de diagonalisation. Tout endomorphisme n'est pas diagonalisable, en revanche sur un espace vectoriel réel ou complexe de dimension finie, les endomorphismes diagonalisables sont denses topologiquement.
Il y a 2 obstacles qui empêchent que tout endomorphisme soit diagonalisable. Le premier est constitué des endomorphismes nilpotents ; il a été analysé par le mathématicien Camille Jordan. On montre que tout endomorphisme en dimension finie sur un corps algébriquement clos se décompose en sous-espaces caractéristiques où l'endomorphisme est la somme d'une homothétie et d'un endomorphisme nilpotent.
Le deuxième obstacle apparaît lorsque l'espace vectoriel n'est pas sur un corps algébriquement clos, comme les nombres réels par exemple. Dans ce cas les polynômes caractéristique et minimal peuvent avoir des facteurs premiers de degré supérieur ou égal à 2. Pour ces facteurs de plus haut degré, le concept de valeur propre doit être généralisé en celui de chaîne de Jordan. On dit qu'un polynôme P de degré d est une chaîne de Jordan d'un endomorphisme u si
L'intérêt de cette notion est que la famille (x,...,ud-1(x)) engendre un sous-espace vectoriel stable par u, sur lequel la matrice de u est la matrice compagnon de Jordan de P.
Quand le degré d vaut 1, on retrouve la définition de valeur propre usuelle. On peut montrer que tout facteur premier du polynôme minimal d'un endomorphisme est une chaîne de Jordan de cet endomorphisme. Par conséquent tout endomorphisme admet une base où sa matrice a une diagonale formée de blocs matrices compagnons et de moitié inférieure gauche nulle (c'est donc une matrice presque triangulaire supérieure).
Il existe un cas particulier d'espace vectoriel : ceux qui sont munis d'une distance compatible avec la structure vectorielle. Un cas important est celui où la distance est euclidienne (ou hermitienne dans le cas complexe). L'ajout de cette structure offre une nouvelle voie d'accès à la problématique de la réduction d'endomorphisme. S'il est compatible avec la distance, c'est-à-dire s'il est normal, alors une nouvelle approche est possible. Dans ce contexte, l'exception nilpotente est absente. La réduction est plus simple et les techniques algorithmiques associées plus rapides.
Ce cas guide Hilbert dans une nouvelle direction. La généralisation de l'approche aux opérateurs différentiels. Ces opérateurs comme le laplacien ou le d'alembertien sont la clé d'importants problèmes en physique. Ils peuvent se représenter comme une équation linéaire, mais dans un espace de dimension infinie. Si l'approche générale de Jordan est vouée à l'échec car les polynômes ne s'appliquent pas dans ce contexte, en revanche ces opérateurs présentent les bonnes propriétés de compatibilité vis-à-vis d'une distance qu'il est possible de définir sur l'espace. Hilbert, propose une approche novatrice, consistant à étudier les propriétés géométriques de ces espaces de dimension infinie, au lieu de se limiter à une analyse d'un point particulier: la fonction solution de l'équation. Cette approche ouvre une nouvelle branche des mathématiques devenue essentielle au siècle dernier: l'analyse fonctionnelle. La physique moderne, aussi bien sous sa forme quantique que sous sa forme relativiste, utilise largement cette vision des choses.