François-Joseph Ier se décide de construire la « Villa Waldruh » (le nom original) durant l'été 1881. La construction s'étale de 1882 à 1886 en se basant sur les plans de l'architecte Karl Freiherr von Hasenauer. Au plus tard en 1885, il est décidé de nommer l'édifice en Villa Hermes. L'impératrice elle-même charge le sculpteur berlinois Ernst Herter de la réalisation de la sculpture « Hermès le gardien » qui devait être disposée dans le jardin. En 1886, les travaux du bâtiment y compris toutes les annexes, comme par exemple l'école d'équitation de l'impératrice, sont terminés. Entre 1887 et 1898 (l'année du décès d'Élisabeth), le couple impérial y séjourne régulièrement au printemps pour une durée de quelques jours à quelques semaines.
L'empereur ordonnait l'aplanissement de tous les prés et l'«élimination des taupinières» parce que «Sa Majesté ne peut pas monter ses chevaux ici». Au bord de l'étang proche de la villa, une cabine de bain, qui n'est plus présente aujourd'hui, était construite pour l'impératrice. La rue de la villa Hermès était l'une des premières de Vienne à être équipée d'un éclairage électrique; en 1896 la villa est le premier bâtiment de Vienne à disposer d'un téléphone.
La Villa Hermès tombe dans l'oubli pendant l'occupation russe de 1945 à 1955. Elle fait à nouveau parler d'elle en 1963 grâce au film de Walt Disney « Le Grand Retour » (Miracle of the White Stallions en anglais).
La villa est rénovée par une initiative privée de célèbres personnalités entre 1968 et 1974. La première exposition est ouverte en 1971 dans le cadre de la contribution de l'Autriche à « l'exposition mondiale de la chasse » de Budapest. Depuis ce temps-là, la Villa Hermès attire de nombreux visiteurs car elle représente une destination d'excursion populaire en lien avec la culture, l'histoire et le Mythe de Sisi. Elle est localisée au milieu d'une réserve naturelle (Lainzer Tiergarten) de plus que 2 500 hectares.