Le microscope à effet tunnel (en anglais, Scanning Tunneling Microscope : STM) fut inventé en 1981 par des chercheurs d'IBM, Gerd Binnig et Heinrich Rohrer, qui reçurent le prix Nobel de physique pour cette invention en 1986. C'est un microscope en champ proche qui utilise un phénomène quantique, l'effet tunnel, pour déterminer la morphologie et la densité d'états électroniques de surfaces conductrices ou semi-conductrices avec une résolution spatiale pouvant être égale ou inférieure à la taille des atomes.
Il s'agit, pour simplifier, d'un palpeur (une pointe) qui suit la surface de l'objet. La pointe balaie (scanne) la surface à représenter. Un ordinateur ajuste (via un système d'asservissement) en temps réel la hauteur de la pointe pour maintenir un courant constant (courant tunnel) et enregistre cette hauteur qui permet de reconstituer la surface.
Pour cela, avec un système de positionnement de grande précision (réalisé à l'aide de piézoélectriques), on place une pointe conductrice en face de la surface à étudier et l'on mesure le courant résultant du passage d'électrons entre la pointe et la surface par effet tunnel (les électrons libres du métal sortent un peu de la surface, si l'on se met très près sans pour autant la toucher, on peut enregistrer un courant électrique). Dans la plupart des cas, ce courant dépend très rapidement (exponentiellement) de la distance séparant la pointe de la surface, avec une distance caractéristique de quelques dixièmes de nanomètres. Ainsi, on fait bouger la pointe au-dessus de l'échantillon avec un mouvement de balayage et on ajuste la hauteur de celle-ci de manière à conserver une intensité du courant tunnel constante, au moyen d'une boucle de rétroaction. On peut alors déterminer le profil de la surface avec une précision inférieure aux distances interatomiques.
Des expériences démontrant avec succès la dépendance entre la distance pointe-échantillon et le courant induit par effet tunnel furent réalisées le 18 mars 1981 dans les laboratoires d'IBM à Rüschlikon (Suisse). Les physiciens allemand Gerd Binnig et suisse Heinrich Rohrer qui réalisèrent ces expériences et qui plus tard mirent au point le microscope à effet tunnel, furent récompensés pour cela par le prix Nobel de physique en 1986. Christian Gerber et E. Weibel prirent également part à ces expériences dans une moindre mesure.
Toutefois, des travaux antérieurs dans ce domaine avaient déjà démontré des aspects essentiels du STM, et notamment l'existence d'un courant électrique lié à l'effet tunnel. Suite à ces résultats, durant les années 70, un appareil baptisé le topografiner fut développé par le groupe de Russel Young au NBS (National Bureau of Standards, Gaithersburg, Md, USA). Mais ils durent faire face à des difficultés techniques (vibrations importantes limitant la résolution du système) et bureaucratiques. Il est vraisemblable que sans ces dernières, Russell Young eut été colauréat du prix Nobel donné en 1986. Le Comité Nobel reconnut dans son discours l'importance et la valeur de ces réalisations.
Le microscope à effet tunnel est le père de tous les autres microscopes en champ proche. À sa suite furent développés le microscope à force atomique (AFM) et le microscope optique en champ proche qui tirent profit d'autres interactions à l'echelle atomique. La mise au point de ces microscopes en champ proche fut un pas décisif dans le développement des nanotechnologies dans la mesure où ils permirent d'observer et même de manipuler de manière assez simple et pour un coût relativement modeste des objets de taille nanométrique (c'est-à-dire de taille inférieure aux longueurs d'onde de la lumière visible, de 400 à 800 nm). En 1990, le microscope à effet tunnel a notamment permis à des chercheurs d'IBM d'écrire les premières lettres de l'histoire des nanotechnologies en disposant 35 atomes de xénon sur une surface de nickel, ces 35 atomes dessinant les trois lettres IBM.
De plus, le miscroscope à effet tunnel contribua de manière éclatante à l'illustration de la mécanique quantique. Au début des années 1990, on put fabriquer et mesurer les « enclos quantiques » (en anglais quantum corrals). Ces enclos quantiques sont des systèmes quantiques de formes géométriques simples déposés sur des surfaces. A l'aide de ces enclos, on put représenter de manière très imagée l'analogie entre les ondes de matière associées aux électrons et les ondes à la surface de l'eau, une confirmation directe de la mécanique quantique dans l'espace réel qui n'était pas possible jusqu'alors. Les images de ces enclos quantiques ont depuis fait le tour du monde : ce sont les images de STM les plus reprises dans les livres, les journaux et les magazines.