Il existe de nombreux systèmes d'exploitation optimisés pour le travail de serveur, notamment dans les familles Unix, Mac OS X et Windows NT. Dans ces systèmes d'exploitation l'accent est mis sur la sécurité informatique, en particulier la confidentialité et la disponibilité, ainsi que la capacité d'effectuer de nombreux traitements simultanément. L'interface homme-machine est souvent peu développée, les serveurs étant rarement manipulés.
Dans les systèmes d'exploitations pour serveur, un noyau multitâche préemptif assure l'exécution simultanée de plusieurs traitements. Chaque processus est exécuté dans un espace confiné (anglais sandbox) de sorte que le crash ou le comportement inopiné de ce processus n'influence pas les autres processus.
Pour assurer la confidentialité, chaque processus est attaché à un compte utilisateur (typiquement le compte de l'utilisateur qui a lancé la demande), et chaque opération est soumise à un mécanisme de contrôle d'accès qui l'autorisera ou la refusera en fonction d'informations de permissions, de listes de contrôle d'accès ou de privilèges.
Les serveurs étant utilisés en réseau, le système d'exploitation est équipé de divers logiciels en vue de pouvoir être utilisé avec de nombreux protocoles, et de pouvoir être utilisé comme relais ou pour du routage (voir aussi proxy). Divers logiciels serveur sont inclus dans le système d'exploitation.
Les serveurs servent souvent à stocker de grandes quantités de données. Le système d'exploitation permet d'effectuer automatiquement de manière régulière des tâches de routine en traitement par lots (anglais batch). Ce sont typiquement des tâches de sauvegarde ou d'archivage des données.
D'une importance mineure, l'interface homme-machine d'un système d'exploitation pour serveur est peu développée, et les capacités multimédia sont réduites : les machines n'ont souvent pas de carte sonore, pas de clavier et pas d'écran.
Le marché des ordinateurs serveurs s'est établi à 53 milliards de dollars en 2008 (en baisse de 3,3 % sur l'année).
Les principaux fabricants d'ordinateurs serveurs sont (au 4e trimestre 2008, selon le cabinet d'études Gartner) :
En 2009, 35% des serveurs sont équipés avec les systèmes d'exploitation Windows NT, 14% sont installés avec Linux et 36% sont installés avec un autre système d'exploitation de la famille Unix. Les parts de Windows NT sur le marché des serveurs sont soutenus par la domination des systèmes d'exploitation Windows sur le marché des ordinateurs clients (plus de 80% des parts de ce marché).