Suite à des critiques dirigées contre les autorités de son pays à la fin de 1979, ses privilèges et ses fonctions lui sont retirés ; il est déchu de ses distinctions honorifiques obtenues en tant que père de la Bombe soviétique ; l'URSS s'est engagée dans la guerre d'Afghanistan. Il est assigné à résidence dans la ville fermée de Gorki et est étroitement surveillé par le KGB de 1980 à 1986.
Ce type d'exil est un exil interne ; Sakharov est tenu à l'écart des centres de pouvoir du pays, a fortiori de l'étranger. La ville de Gorki est située dans l'Oblast de Nijni Novgorod, non loin du centre ultrasecret où auparavant il a développé la bombe H des années durant.
Il est filmé en permanence, et coupé de moyens d'échanges, quoique des journaux lui soient livrés de la main à la main. Des trajets vers Moscou sont autorisés de manière régulière, mais ce mode de vie dégrade sa santé. Elena Bonner l'aide à faire passer des télégrammes de manière clandestine pendant ces trajets.
Sakharov entreprend la rédaction de ses Mémoires, dont le contenu passe forcément, pour les autorités, dans le domaine du secret d'État compte tenu de ses travaux après-guerre ; ils lui sont dérobés. Il entreprend donc de les réécrire, avec l'aide d'Elena Bonner pour reconstituer le chapitrage des 800 pages de ce manuscrit. On les lui vole une seconde fois en les escamotant de ses mains directement dans sa voiture, après l'utilisation d'un gaz innervant. Qu'à cela ne tienne, Andrei Sakharov en entreprendra une troisième rédaction.
L'Occident s'inquiète de la disparition, non expliquée par les autorités, de Sakharov ; ce dernier effectue deux grèves de la faim « dures », la deuxième sans que l'information ne filtre. Il est hospitalisé et nourri de force, le documentaire paru en 2010 basé sur des archives déclassifiées (voir ) indique qu'il a fait l'objet du programme de psychiatrie répressive destiné à briser les dissidents.
Le KGB fait passer à l'ouest une vidéo de désinformation où une infirmière de l'hôpital où il a été patient s'étonne des rumeurs propagées à l'étranger selon lesquelles il aurait fait l'objet de mauvais traitements, et s'indigne de ces allégations dans des propos lénifiants en argumentant sur le professionnalisme des interventions dans son établissement.
Andreï Sakharov a reçu de nombreux prix dont :
ou distinctions dont :
Mais en hommage de son engagement des prix ou des lieux portent son nom :