Soit M∈Mn(K), une matrice à n lignes et n colonnes à coefficients dans K. On dit que la matrice M est trigonalisable s'il existe une matrice inversible P∈GLn(K) et une matrice T∈Tn+(K) triangulaire supérieure telles que :
M = PTP ou bien T = P M**P
Cela revient à dire que M est semblable dans Mn(K) à une matrice triangulaire supérieure.
En particulier, toute matrice triangulaire supérieure est trigonalisable, bien évidemment. (Il suffit de choisir P = In où In est la matrice identité de dimension n.)
Soit E un espace vectoriel sur le corps K, de dimension n et u un endomorphisme de E. On dit que u est trigonalisable s'il existe une base B de E telle que MB(u)∈Tn+(K), où MB(u) désigne la matrice de l'endomorphisme u dans la base B. Autrement dit, un endomorphisme est trigonalisable s'il existe une base dans laquelle sa matrice associée est triangulaire supérieure.
De plus, un endomorphisme est trigonalisable si et seulement si sa matrice dans au moins une base de E est trigonalisable ; dans ce cas, sa matrice dans n'importe quelle base de E est trigonalisable.
Il faut noter un théorème important dû à Schur :
Théorème de trigonalisation de Schur — Toute matrice carrée complexe est trigonalisable dans une base orthonormale.