La notion de sous-représentation correspond à celle de sous-espace vectoriel compatible avec la représentation. Elle possède la définition suivante :
Cette définition introduit naturellement la suivante :
On remarque que la restriction à W de ρs est bien un automorphisme de W car ρs est un automorphisme laissant W invariant.
Dans le contexte général de l'algèbre linéaire, l'existence d'un sous-espace stable W par un endomorphisme ne permet pas une décomposition de V en deux sous-espaces stables supplémentaires. Pour s'en rendre compte, le plus simple est de considérer un endomorphisme nilpotent sur un espace vectoriel réel de dimension deux. le noyau est un sous-espace stable qui n'admet pas de supplémentaire stable. Cette situation ne se produit pas dans la théorie des représentations de groupes finis :
La démonstration est donnée dans un lemme de l'article Théorème de Maschke.
Cette propriété est illustrée dans l'exemple de la représentation du groupe S3. L'espace de dimension deux est un supplémentaire stable de l'espace engendré par le vecteur e1 + e2 + e3.
L'objectif est la classification de toutes les représentations d'un groupe fini sur un corps K de caractéristique nulle ou première avec l'ordre du groupe. Cette démarche, analogue à celle de la réduction d'endomorphisme par Jordan, est ici naturelle. Elle se fonde sur la définition suivante :
Une représentation de dimension un est naturellement irréductible. Une telle représentation est à valeur dans un groupe de racines g-ième de l'unité. Que le corps soit de caractéristique nulle ou non, l'ensemble d'arrivé est un groupe cyclique (cf polynôme cyclotomique). En conséquence, une représentation de cette nature n'est fidèle que si le groupe G est cyclique. Une autre conséquence, démontrée dans l'analyse des caractères est qu'un groupe est abélien si et seulement si toute représentation irréductible est de degré un.
La classification est le résultat du théorème suivant connu sous le nom de théorème de Maschke:
Connaître toutes les représentations d'un groupe fini revient donc à connaître ses représentation irréductibles, les autres s'obtiennent par somme directe.
Il existe une décomposition canonique, elle se fonde sur la définition suivante :
La décomposition d'une représentation en sous-espaces isotypiques maximaux est unique, ou encore il n'existe qu'une seule représentation isotypique maximale pour une représentation irréductible donnée.
Dans le cas le théorème de Maschke s'applique, alors il existe souvent un bon produit scalaire ou produit hermitien tel que toutes les images par ρ soit des isométries. La définition associée est la suivante :
La proposition est la suivante :
La démonstration est donnée dans le paragraphe Produit hermitien de l'article Représentation régulière.
Dans le cas où le corps est de caractéristique nulle, comme il est commutatif, il est inclus dans C le corps des nombres complexes et le produit hermitien est un produit classique. S'il est inclus dans R le corps des réels, le même produit est utilisé, il apparaît néanmoins comme un produit scalaire car la fonction conjuguée est l'identité. Dans le cas où la caractéristique est finie, il est nécessaire de généraliser le produit hermitien (cf Produit hermitien en caractéristique finie).