Le théorème de restriction cristallographique est basé sur l'observation du fait que les opérations de symétrie rotationnelles d'un cristal sont limitées à des opérations d'ordre 1, 2, 3, 4 et 6. Cependant, les quasi-cristaux, découverts en 1984, peuvent posséder d'autres symétries, comme la rotation d'ordre 5.
Avant la découverte des quasi-cristaux, un cristal était défini somme étant un réseau, généré par une liste de translations finies indépendantes. Parce que la nature discrète du réseau impose une limite inférieure sur la distance entre les nœuds, le groupe des symétries de rotation du réseau en un point quelconque doit être un groupe fini. La conséquence du théorème de restriction cristallographique est que tous les groupes finis ne sont pas forcément compatibles avec un réseau discret : chaque dimension ne possède qu'un nombre fini de groupes compatibles.
Les cas particuliers des dimensions 2 (groupes de papier-peint (en)) et 3 (groupes d'espace) sont le plus souvent utilisés et peuvent être traités ensemble.
Une symétrie rotationnelle en dimension 2 (2D) ou 3 (3D) doit déplacer un nœud du réseau vers un ensemble d'autres nœuds du réseau dans le même plan, générant un polygone régulier de nœuds coplanaires. Il suffit donc de considérer le plan dans lequel agit l'opération de symétrie.
Consiérons maintenant une rotation d'ordre 8 et les vecteurs de translation entre des points adjacents du polygone (en noir sur la figure). Un vecteur de translation doit laisser le réseau invariant lors de l'application de la translation. Si un vecteur de translation existe entre deux nœuds quelconques du réseau, alors ce vecteur doit être présent partout dans le réseau. On peut alors placer l'origine de tous les vecteurs correspondant aux côtés du polygone sur un point du réseau. Ces vecteurs deviennent des vecteurs radials et la symétrie d'ordre 8 impose la présence d'un octagone régulier de points autour du barycentre. Cependant, ceci est impossible, car la taille du nouveau polygone est environ 80 % de celle du polygone de départ. La réduction de la taille du polygone par applications successives de cette procédure est illimitée : la même construction peut être répétée avec le nouvel octagone et ainsi de suite jusqu'à ce que la distance entre deux points devienne infiniment petite. Ainsi, aucun réseau discret ne peut posséder une symétrie rotationnelle d'ordre 8. Le même argument s'applique à toute rotation d'ordre k avec k > 6.
La rotation d'ordre 5 est aussi éliminée par un argument de réduction de taille. Considérons un pentagone régulier de nœuds. Si un tel pentagone existe, alors il est possible de former une étoile à cinq branches avec tous les vecteurs de translation correspondant aux côtés du pentagone. Les sommets de cette étoile forment à nouveau les sommets d'un pentagone régulier, dont la taille est environ 60 % de celle du pentagone de départ.
Ainsi le théorème est prouvé.
L'existence des quasi-cristaux et des pavages de Penrose montre que l'hypothèse d'une translation linéaire est nécessaire. Les pavages de Penrose possèdent une symétrie rotationnelle d'ordre 5 et un ensemble de points discret, les environnements locaux étant répétés à l'infini, mais il n'existe pas de translation linéaire pour l'ensemble du pavage. Sans l'hypothèse d'un réseau discret, la construction ci-dessus ne peut pas conduire à une contradiction et produit même un contre-exemple (non-discret). Ainsi la symétrie rotationnelle d'ordre 5 ne peut pas être éliminée par un argument ne contenant pas l'une de ces hypothèses. Un pavage de Penrose du plan (infini) ne possède qu'un élément de symétrie rotationnelle d'ordre 5 autour d'un seul point, alors que les réseaux plans quadratique (rotation d'ordre 4) et héxagonal (rotation d'ordre 6), par exemple, possèdent une infinité de centres de rotation.
Considérons une ligne du réseau sur laquelle les nœuds sont séparés par le vecteur de translation a. En appliquant une opération de symétrie rotationnelle R d'ordre n (d'angle θ = 360°/n) sur cette ligne, on obtient une ligne de points (en vert sur la figure) séparés par la distance a ; ceci est aussi valable en appliquant l'opération inverse R–1 d'angle –θ (points orange).
Pour que l'opération R soit une opération de symétrie du réseau, les points obtenus doivent correspondre à des nœuds. En particulier, les vecteurs de translation entre les nœuds des deux nouvelles lignes doivent être des multiples de a : ma, m'a, etc.
Dans le triangle isocèle de côtés a, a et ma ainsi obtenu, on peut écrire :
m devant être un nombre entier. Comme de plus le cosinus doit être compris entre –1 et +1, il n'y a que cinq possibilités :
m | –2 | –1 | 0 | 1 | 2 |
cos θ | –1 | –1/2 | 0 | 1/2 | 1 |
θ | 180° | ± 120° | ± 90° | ± 60° | 360° |
n | 2 | 3 | 4 | 6 | 1 |
Pour une preuve alternative, considérons les propriétés des matrices. En dimensions 2 et 3, toutes les rotations agissent dans un plan et la trace de la matrice associée à une rotation ne dépend que de l'angle de rotation θ. La somme des éléments d'une matrice est appelée la trace (Tr) de la matrice. Pour une rotation dans l'espace à deux dimensions, la trace de la matrice est 2cosθ ; pour une rotation dans l'espace à trois dimensions, 1 + 2cosθ. Du fait que la rotation doit laisser le réseau invariant, un nœud du réseau doit avoir pour image un autre nœud. La trace de la matrice doit donc être un nombre entier.
Considérons la matrice R associée à une rotation d'angle θ dans une base orthonormale des espaces à deux et trois dimensions :
Par commodité d'écriture, R3 correspond à une rotation d'angle θ autour de la direction z ; cette convention ne change rien au résultat puisque la trace d'une matrice est invariante par changement de base.
n | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 |
θ | 360° | 180° | 120° | 90° | 72° | 60° | 51,4° | 45° | 40° | 36° |
cos θ | 1 | -1 | -1/2 | 0 | 0,309 | 1/2 | 0,623 | 0,707 | 0,766 | 0,809 |
sin θ | 0 | 0 | 0,866 | 1 | 0,951 | 0,866 | 0,782 | 0,707 | 0,643 | 0,588 |
Tr (R2) | 2 | -2 | -1 | 0 | 0,618 | 1 | 1,246 | 1,414 | 1,532 | 1,618 |
Tr (R3) | 3 | -1 | 0 | 1 | 1,618 | 2 | 2,246 | 2,414 | 2,532 | 2,618 |
Ainsi, par exemple, les cristaux ne peuvent pas présenter une symétrie rotationnelle d'ordre 8. Les seuls angles de rotation possibles sont des multiples de 60° (2π/6), 90° (2π/4), 120° (2π/3), 180° (2π/2) et 360° (2π/1), correspondant à des rotations d'ordre 6, 4, 3, 2 et 1 respectivement.
Le théorème de restriction cristallographique ne garantit cependant pas qu'une rotation soit compatible avec n'importe quel réseau. Par exemple, une rotation d'ordre 6 ne peut pas être présente dans un réseau quadratique, ni une rotation d'ordre 4 dans un réseau orthorhombique.