Le musée, conçu comme une ambitieuse maison de la culture à l’origine, au début des années 1960 par les architectes Guy Lagneau, Jean Dimitrijevic et Michel Weill et Raymond Audigier regroupés au sein de l'Atelier LWD, avec l'aide de Jean Prouvé met en œuvre des principes novateurs de transparence et de flexibilité. Le projet rompant avec l’homogénéité formelle et esthétique de la trame de la Reconstruction à laquelle il vient se juxtaposer. Il se caractérise par de grandes surfaces vitrées formant une enveloppe externe, et met en jeu un dispositif original de « para-lume » qui coiffe la toiture du bâtiment rappelant la géométrie de shed. Celui-ci est destiné à diffuser la lumière naturelle que filtrent encore plusieurs vitrages intérieurs. Il traduit une volonté de maîtriser l’éclairement naturel d’un site en bordure de mer. La structure permet de disposer d’amples volumes modulables au gré des expositions et des activités. En 1998, il fait l’objet d’une rénovation et restructuration par Emmanuelle et Laurent Beaudouin.