La Société des amis de la musique à Vienne, fondée en 1812, recourut, de 1831 à 1870, à une salle de concert dont la capacité était limitée à environ 700 places assises. En 1870, l'empereur François-Joseph fit don d'un terrain à l'association, en vue d'y édifier une salle de concert de plus grandes dimensions.
La société engaea l'architecte Theophil von Hansen (1813-1891), bâtisseur en 1856 de l'Académie Sinea à Athènes (connue à partir de 1926 comme Académie d'Athènes), en vue de construire un bâtiment qui abriterait simultanément une grande salle destinée aux concerts d'un orchestre philharmonique et une salle de dimensions plus modestes, pour les concerts de musique de chambre.
Dès l'inauguration, le 6 janvier 1870, l'acoustique exceptionnelle de la grande salle assura une renommée internationale à ce nouveau « temple » de la musique. De son côté, la petite salle acquit rapidement une certaine renommée comme salle destinée aux concerts de musique de chambre, puis fut rebaptisée, en 1937, pour honorer la mémoire du compositeur Johannes Brahms.
Le bâtiment fut rapidement surnommé, à travers le monde, Musikverein, mot signifiant « Association musicale ».
À partir de 2001, le bâtiment a fait l'objet d'importants travaux de réaménagement, sous la direction de l'architecte Wilhelm Holzbauer. Quatre des nouvelles salles, construites en sous-sol, se vont vu attribuer un nom inspiré d'un élément de la nature ou issu du travail de l'homme :
- les salles de verre, de métal et de pierre, pouvant accueillir aussi bien des concerts que d'autres manifestations : banquets, séminaires, salles de classe, cocktails, etc. ;
- la salle de bois, pouvant accueillir banquets, séminaires, salles de classe, cocktails, etc., mais n'accueillant pas de concerts ;
- plusieurs autres locaux à usage technique interne.
