En avril 1808 Napoléon se rend sur l'île d'Aix pour une tournée d'inspection des chantiers en cours et décide à cette occasion la construction du fort Liédot, d'une poudrière et d'une maison pour le commandant de la place. Lui-même ne reviendra pas à Aix avant plusieurs années.
À l'été 1815 la situation de Napoléon est critique : la défaite de Waterloo le 18 juin a sonné le glas de ses ambitions. L'Empereur déchu doit partir, il se rend à Rochefort puis, depuis Fouras à bord de la frégate la Saale, à l'île d'Aix le 8 juillet. Avec ses proches il s'installe dans la maison du commandant de la place qu'il a fait construire quelques années auparavant.
Napoléon passe ses derniers jours en terre française dans une chambre simple, tendue de jaune, que l'on peut visiter aujourd'hui. Après tergiversations et pourparlers qui n'aboutissent pas, c'est là qu'il rédige le 14 juillet 1815 sa lettre de reddition au prince-régent d'Angleterre dans les termes suivants :
« En butte aux factions qui divisent mon pays, et à l'inimitié des plus grandes puissances de l'Europe, j'ai terminé ma carrière politique. Je viens, comme Thémistocle, m'asseoir sur le foyer du peuple britannique ; je me mets sous la protection de ses lois que je réclame de Votre Altesse Royale comme du plus puissant, du plus constant, du plus généreux de mes ennemis. »
Il la confie à son aide de camp, le général d'artillerie Gaspard Gourgaud – qui en conserva le brouillon, exposé sur la table de la chambre. Le 15 juillet 1815 il revêt son uniforme, gagne L'Épervier dont la vedette l'attendait à l'embarcadère, puis monte à bord du Bellérophon, avant d'être transféré le 7 août 1815 sur le Northumberland qui le dépose à Sainte-Hélène où il mourra en 1821.
Une plaque apposée à l'entrée de la maison de l'île d'Aix rappelle que l'Empereur n'y séjourna pas seul. Il était en effet accompagné de « Bertrand, sa femme et leurs trois enfants, de Gourgaud, de Savary, de Montholon, de Las Cases, de Lallemand, du colonel Planat, de Marchand et du général Becker, que le gouvernement de la Défense provisoire avait délégué auprès de lui ».
Le musée doit son existence aux efforts de la famille Gourgaud, en particulier du baron Napoléon Gourgaud – arrière-petit-fils du baron Gaspard Gourgaud, compagnon de Napoléon à Sainte-Hélène – grand collectionneur et mécène.
Dès 1925, le baron Gourgaud et sa femme, une riche Américaine, avaient été séduits par l'île d'Aix, créant la Société des Amis de l'île d'Aix, devenue par la suite Fondation Gourgaud. Ils y acquièrent plusieurs maisons, dont celle dite « de l'Empereur », classée monument historique par un arrêté du 24 septembre 1925. Ils transforment la maison avec l'aide de plusieurs personnalités locales, dont le baron Coudein, en un Musée napoléonien ouvert au public en 1928 et la donnent à l'État avec réserve d'usufruit en 1933.
La demeure est dotée de deux jardins entourés de murs, l'un d'environ 700 m2, l'autre, plus au sud, d'environ 1 040 m2. Ils sont à leur tour classés par un arrêté du 17 décembre 1934. Dans ce jardin, Napoléon avait greffé un frêne sur un ormeau. Cet arbre est encore vivace aujourd'hui.
Le Musée napoléonien devient musée national en 1959, au décès de la baronne Gourgaud. Depuis cette date il est rattaché au musée du Château de Malmaison.