Contrairement à beaucoup d'autres professions, il n'y a pas de voie toute tracée pour devenir administrateur système. Beaucoup d'entre eux ont un diplôme dans une branche de l'informatique ou même d'une école de commerce. Certains établissements offrent des options dans le cadre d'une formation générale en informatique.
La première difficulté à l'enseignement universitaire de l'administration des systèmes, est due à l'évolution très rapide de l'industrie et des technologies, que la littérature et les cours magistraux peinent à suivre. Un manuel pédagogique prend des années d'écriture et de relecture avant d'être approuvé, dans le même temps, la technologie dont il traite aura eu le temps d'évoluer considérablement, le livre pourra être obsolète dès sa sortie
De plus, à cause de la nature pratique de l'administration des systèmes et de la large disponibilité des logiciels serveur libres, beaucoup d'administrateurs sont des autodidactes.
En général, une personne aspirant à un poste d'administrateur système aura besoin d'expérience sur le type de système qu'elle souhaite gérer. Dans certains cas, on s'attend à ce que les candidats soient titulaires d'une certification telle que: Microsoft Certified Systems Administrator, Microsoft Certified System Engineer, Red Hat Certified Engineer, Linux Professional Institute…
Parfois, dans des organisations de petite taille, le rôle d'administrateur peut être confié à un utilisateur expérimenté en plus (ou en remplacement) de ses attributions. Par exemple, il n'est pas rare qu'un professeur de mathématiques ou de technologie soit administrateur système de son collège ou de son lycée.