En mathématiques, et plus précisément dans le cadre de la théorie des représentations d'un groupe, le critère d'irréductibilité de Mackey propose une condition nécessaire et suffisante pour qu'une représentation induite soit représentation irréductible.
Ce résultat est nommé en l'honneur du mathématicien George Whitelaw Mackey .
Il est nécessaire de fixer le vocabulaire et les outils utilisés pour énoncer le critère.
Soient G un groupe fini et H un sous-groupe de G. K est un corps commutatif de caractéristique soit nulle soit première avec g l'ordre du groupe. Si K est de caractéristique finie alors il est algébrique. Dans tous les cas le polynôme Xg - 1 est scindé sur K.
Soit s un élément de G et Hs le sous-groupe intersection de H avec le conjugué de H par s. W est un espace vectoriel sur le corps K.
Soit (W, θ) une représentation de H et (V, ρ) la représentation induite de G par (W, θ). θs désigne la représentation de Hs dans le groupe linéaire GL(W) défini par :
On parle alors de représentation conjuguée de (W, θ).
Le critère de Mackey s'énonce de la manière suivante :
Il existe un corollaire, dans le cas où le groupe H est distingué :
Remarque : Ce résultat se généralise dans le cas où le groupe est topologique localement compact et la représentation unitaire dans un espace de Hilbert.
Les démonstrations se trouvent dans la boîte déroulante ci-dessous.
Une question naturelle est celle de la nature d'une représentation induite sur la restriction de ρ à S. Pour cela, la définition des doubles classes modulo H et S est nécessaire :
Il est aisé de vérifier que l'ensemble des doubles classes forment une partition de G. On dispose de la même définition que pour les classes à gauche ou à droite :
Pour le démontrer, notons Wc le sous-espace de V somme des images de W par ρ(t) quand t décrit la double classe de c. On remarque que :
Si s un élément de S, alors sti est élément de la double classe de c et :
L'automorphisme ρc commute avec les deux représentations, ce qui termine la démonstration.
La démonstration est une application directe des résultats sur la restriction d'une application induite à un sous-groupe et de la formule de réciprocité de Frobenius. La représentation (V, ρ) est irréductible si et seulement si sa norme est égale à 1, c’est-à-dire <ρ , ρ> = 1. La formule de réciprocité de Frobenius s'exprime de la manière suivante :
Or les résultats de l'analyse sur la restriction de ρ au sous-groupe H montre que cette restriction est isomorphe à la somme directe des représentations conjuguées de θ, si C est un système de représentants des doubles classes :
En appliquant à nouveau la formule de Frobenius, cette fois-ci en sens inverse, on obtient :
Ce qui termine la démonstration.
Avec les notations du paragraphe précédent, la formule de réciprocité de Frobenius s'exprime par :
Il est possible de généraliser la formule :
Une autre manière d'exprimer cette propriété est la suivante :