Le groupe de symétrie d'un objet (image, signal, etc.) est le groupe de toutes les isométries sous lesquelles cet objet est globalement invariant, l'opération de ce groupe étant composition. C'est un sous-groupe du groupe euclidien (en), qui est le groupe des isométries de l'espace affine euclidien ambiant.
(Si cela n'est pas indiqué, nous considérons ici les groupes de symétrie en géométrie euclidienne, mais le concept peut aussi être étudié dans des contextes plus larges, voir .)
Les "objets" peuvent être des figures géométriques, des images et des motifs, tel que les motifs de papier peint (en). La définition peut être rendue plus précise en précisant ce que l'on entend par image ou motif, par exemple une fonction de position avec des valeurs dans un ensemble de couleurs. Pour la symétrie des corps en 3D, par exemple, on peut aussi vouloir prendre en compte la composition physique. Le groupe des isométries de l'espace induit une action de groupe sur les objets qu'il contient.
Le groupe de symétrie est quelquefois appelé le groupe de symétrie complet afin de souligner qu'il inclut les isométries qui renversent l'orientation (comme les réflexions, les réflexions glissées et les rotations impropres) sous lesquelles la figure est invariante. Le sous-groupe des isométries qui conservent l'orientation (i.e. les translations, les rotations et les compositions de celles-ci) et qui laissent la figure invariante est appelé son groupe de symétrie propre. Le groupe de symétrie propre d'un objet est égal à son groupe de symétrie complet si et seulement si l'objet est chiral (et ainsi, il n'existe pas d'isométries renversant l'orientation sous lesquelles il est invariant).
Tout groupe de symétrie dont les éléments ont un point fixe commun, ce qui est vrai pour tous les groupes de symétrie de figures bornées, peut être représenté comme un sous-groupe du groupe orthogonal O(n) en choisissant comme origine un point fixe. Le groupe de symétrie propre est alors un sous-groupe du groupe spécial orthogonal SO(n), c'est pourquoi il est aussi appelé le groupe de rotation de la figure.
Les groupes de symétrie discrets sont de trois sortes :
Il existe aussi les groupes de symétries continues (en), qui contiennent des rotations d'angles arbitrairement petits ou des translations de distances arbitrairement petites. Le groupe de toutes les symétries d'une sphère O(3) est un exemple de ceci, et en général, de tels groupes de symétries continues sont étudiés comme des groupes de Lie.
À la classification des sous-groupes du groupe euclidien correspond une classification des groupes de symétrie.
On dit que deux figures géométriques ont le même type de symétrie si leurs groupes de symétries respectifs H1, H2 sont des sous-groupes conjugués du groupe euclidien E(n), c'est-à-dire s'il existe une isométrie g de Rn telle que H1=g-1H2g. Par exemple :
Quelquefois, un concept plus large, le "même type de symétrie" est utilisé, par exemple dans les 17 groupes de papier peint (en)..
Lorsque l'on considère les groupes d'isométrie, on peut se limiter à ceux où pour tous les points, l'ensemble des images sous les isométries est topologiquement fermé. Ceci exclut, par exemple, en dimension 1, le groupe des translations par un nombre rationnel. Une "figure" ayant ce groupe de symétrie est impossible à dessiner et homogène à un niveau de détail arbitraire, sans être réellement homogène.