On ne sait rien de son origine, fort ancienne, il y aurait eu déjà une forteresse au VIIIe siècle. La première mention connu date du 10 octobre 1219, lorsque la famille de Gevève en fait sa résidence principale, contrainte d'abandonner Genève à la souveraineté de son prince-évêque.
Entièrement détruit lors d'un incendie survenu le 27 avril 1340, il est reconstruit à l'identique par le comte Amédée III. Robert de Genève y entreprend d'importants travaux et le transmet à sa mort, survenu en 1394, à son beau-frère Humbert de Thoire-et-Villars, qui le lègue à son tour à son oncle Odon de Villards, lequel le cède le 5 août 1401 au duc de Savoie Amédée VIII.
Celui-ci le restaure en 1403, après un nouvel incendie, et en fait la résidence de son second fils, Philippe, qui reçoit le Genevois en apanage en 1440. Le duc Louis en fait de même avec son troisième fils Janus. Le duc Charles constitue le 15 août 1514 un nouvel apanage dit de Genevois-Nemours au profit de son frère Philippe de Savoie.
Le château est pris le 20 mai 1630 par l'armée française, malgré la résistance de son gouverneur Louis de Salles. En 1659, à la mort d'Henri II, dernier de la famille des Genevois-Nemours, le château fait retour au duché de Savoie, qui en fait la résidence du gouverneur de la place d'Annecy.
La forteresse est transformé temporairement en caserne lors de l'occupation espagnole de 1742.
En 1793, le château est déclaré « bien national », baptisé « Maison de la Montagne », il sert à abriter les armées républicaines, puis impériales. Il gardera cette fonction jusqu'à la Seconde Guerre mondiale, puis sera envahi par des sans-logis.
En 1952, un nouvel incendie l'endommage et en 1953, la commune d'Annecy, le rachète à l'Etat. Restauré, il abrite aujourd'hui une présentation permanente des collections des musées de l'agglomération d'Annecy et l'Observatoire régional des lacs alpins.