Une action de groupe est, en mathématiques, une description algébrique d'une famille de transformations géométriques d'un espace, par exemple le groupe des rotations agit sur , le groupe de matrices agit sur l'espace .
Étant donné un groupe G, dont la loi est notée multiplicativement et dont l'élément neutre est noté e, on peut définir une action (ou opération) de G sur un ensemble E par une application :
vérifiant les propriétés suivantes :
Dans ce cas on dit également que G opère (ou agit) sur l'ensemble E. Il est important de bien vérifier que l'ensemble E est stable sous l'action du groupe G.
Un point de vue équivalent consiste à dire que le groupe G opère sur l'ensemble E si l'on dispose d'un morphisme de groupes, dit associé à l'action, , du groupe dans le groupe symétrique de l'ensemble. Un tel morphisme est appelé une représentation du groupe G.
Ce morphisme est lié à l'action par
pour tous .
On définit l'orbite d'un élément x de E par
L'orbite de x est l'ensemble des positions (dans E) susceptibles d'être occupées par l'image de x sous l'action de G. La relation « y est dans l'orbite de x » est une relation d'équivalence sur E, les classes d'équivalences sont les orbites.
En particulier, les orbites forment une partition de E.
Le stabilisateur d'un élément x de E est l'ensemble
des éléments qui laissent x invariant sous leur action. C'est un sous-groupe de G. Les stabilisateurs de deux éléments de la même orbite sont isomorphes via la formule :
L'application
est une bijection de G / Stx sur Ox.
On peut définir, de manière analogue, l'ensemble Fixg des points fixés par un élément comme l'ensemble des éléments de E invariants sous l'action de g.
alors le groupe opère sur :
À travers les notions d'orbite et de stabilisateur, les actions de groupe sont un outil commode en combinatoire. D'autre part, un certain nombre de propriétés concernant la structure de certains groupes peuvent être démontrées par des arguments de dénombrement.
Deux identités reviennent fréquemment. Lorsque l'ensemble E et le groupe G sont finis, la formule des classes affirme que pour toute orbite Ox
Remarquons que les stabilisateurs de 2 éléments d'une même orbite sont conjugués et ont donc le même cardinal (on peut donc remplacer dans la formule ci-dessus x par n'importe quel élément de l'orbite.
Par suite si on désigne par Ω l'ensemble des orbites et par cω le cardinal commun des stabilisateurs des éléments de l'orbite ω on peut écrire:
Cette formule relie le cardinal de l'ensemble à la structure du groupe G.
La formule de Burnside affirme pour sa part (toujours sous l'hypothèse que E et G sont finis) que le nombre d'orbites est
En particulier, si G est un groupe fini agissant transitivement sur un ensemble non vide E, alors la moyenne du nombre de points fixes des éléments du groupe G est égale à 1.