Le JMA est né en 1875 sous le nom de l’Observatoire météorologique de Tōkyō, sous la direction du ministère de l'Intérieur. Cet ancêtre n'était qu'une station d'observation mais un réseau de stations s'y sont greffés graduellement et en 1883, les premières cartes de pression de la région furent transmises. L'année suivante, la première prévision météorologique nationale fut émise, utilisant les techniques développées par les services météorologiques européens et nord-américains naissants. L'observatoire commença également son rôle de prise des données sismiques en 1884.
L'organisme changea de nom en 1887 pour devenir l’Observatoire central météorologique (OCM) et fut transférer au ministère de l'Éducation en 1895. Les observations marines et océanographiques commencèrent en 1921, un pas important pour un nation à vocation maritime. En 1922, l'école de météorologie ouvrit ses portes afin de former le personnel du service. En 1930, les services à l'aviation furent inaugurés et en 1938, les radiosondages commencèrent pour répondre à ses besoins. Nul doute que l'OCM joua un grand rôle durant la Seconde Guerre mondiale. Il fut mis sous l'autorité du ministère des Transports et Télécommunications en 1943 puis sous celui des Transports en 1945.
Après la guerre, l'OCM joignit l'Organisation météorologique mondiale en 1953 et devint le JMA en 1956 comme un service autonome du ministère des Transports. Il est depuis 2001 sous le ministère de Terres, des Infrastructures et des Transports. Les développements technologiques ont suivi : premier radar météorologique implanté au Japon en 1954, prévision numérique du temps commencée en 1959, lancement du premier satellite météorologique géostationnaire japonais en 1977, le GMS (Geostationary Meteorological Satellite), etc.
