En algèbre linéaire une matrice de Hankel, du nom du mathématicien Hermann Hankel, est une matrice carrée dont les valeurs sont constantes le long des diagonales ascendantes, c'est-à-dire dont les indices vérifient la relation ai,j = ai − 1,j + 1
Par exemple une matrice de Hankel de taille 5 s'écrit sous la forme
Cette matrice a une certaine parenté avec les matrices de Toeplitz (ces dernières sont des matrices de Hankel renversées).
Sur un espace de Hilbert muni d'une base hilbertienne, on peut définir plus généralement un opérateur de Hankel. Ce dernier admet pour représentation une matrice de Hankel infinie, c'est-à-dire que le coefficient ai,j = (ei | a(ej)), dépend seulement de i + j.
À toute suite (bn) on peut associer la suite des déterminants hn des matrices de Hankel successives
Un cas particulier de matrices de Hankel est celui de matrices anticirculantes, lorsque bn + j = bj − 1.
Dans ce cas, on peut aisément diagonaliser les matrices de Hankel : On considère la base de diagonalisation des matrices circulantes de taille n ; on note P la matrice de passage associée d'élements générique w(i − 1)(j − 1) où
Si M est une marice de Hankel, on note M' = P − 1MP. On remarque que M'C1 = LC1, où
Si n est pair, -1 est racine n-ième de l'unité, le vecteur colonne
Si
On remarque que le plan Vect(Cj,Cn + 2 − j) est stable sous l'action de l'endomorphisme canoniquement associé à M ; la restriction à cet espace,de l'endomorphisme (complexe) associé, a pour matrice dans la base des deux colonnes (Cj,Cn + 2 − j) :