Le groupe orthogonal est compact, en effet on est en dimension finie et il est borné car tous les endomorphismes orthogonaux sont unitaires et fermé car c'est l'image réciproque du singleton identité par l'application continue M↦Mt.M.
L'identité est un automorphisme orthogonal. L'ensemble des automorphismes orthogonaux est stable par composition et inversion. C'est donc un sous-groupe du groupe des automorphismes de E ; on l'appelle le groupe orthogonal associé à la forme quadratique q. Il est noté O(E,q).
Pour E=Kn, lorsque la forme quadratique q s'écrit : q(x) = ∑k=1n xk, on appelle matrices orthogonales les matrices des automorphismes orthogonaux. Une matrice M est donc orthogonale si et seulement si MM = In, où M est la matrice transposée de M. Par définition, le groupe orthogonal de degré n du corps K est le groupe des matrices orthogonales n × n à coefficients dans K, muni de la multiplication matricielle. Il est habituellement noté O(n,K) ou On(K). C'est un sous-groupe du groupe général linéaire GL(n,K).
Toute matrice orthogonale a un déterminant égal à 1 ou -1. Les matrices orthogonales n × n de déterminant 1 forment un sous-groupe invariant de O(n,K) appelé le groupe spécial orthogonal et noté SO(n,K) ou SOn(K). Si la caractéristique de K est 2, alors les groupes orthogonal et spécial orthogonal coïncident. Dans le cas contraire, l’indice de SO(n,K) dans O(n,K) est 2.
O(n,K) et SO(n,K) sont des groupes algébriques, car la condition que leurs matrices soient orthogonales, c’est-à-dire que leur transposée soit leur inverse, peut s’exprimer comme un ensemble d’équations polynomiales dans les éléments de ces matrices.