Le programme fut initié en décembre 1962 par le gouvernement soviétique. Trois constructeurs étaient en concurrence : Miassichtchev avec ses projets M-20 et M-18, Tupolev avec son avion '160' et Soukhoï qui, au début, remporta la partie avec son T-4. Tupolev réagit en affirmant que Soukhoi n'a pas les compétences nécessaires (Pavel Soukhoi était l'élève de Tupolev) et proposait une version modernisée de son Tu-22 alors en production. Néanmoins, les études commencèrent et en 1963, on connaissait la forme du futur appareil: nez basculant offrant peu de visibilité à l'équipage une fois relevé, plans canards, voilure en double delta, fuselage étroit pour offrir moins de traînée, moteurs groupés en 'paquet' et non séparés comme prévu au début et entrés d'air à section variable. En tout, on imagina environ 50 variantes possibles de la configuration initiale, dont deux étaient particulièrement intéressantes: il s'agit des T-4M à géométrie variable, et T-4MS qui se présente comme une aile volante à géométrie variable.
Il a fait son premier vol le 22 août 1972 avec des réacteurs provisoires RD36-41, on prévoyait de construire une première série de 50 exemplaires à l'usine de construction aéronautique de Toushino (TMZ).
Le projet fut abandonné en 1982, avant que les performances réelles de l'avion ne puissent être déterminées car la production du Mikoyan-Gourevitch MiG-23 était prioritaire et l'on préféra produire le projet Tupolev ayant déjà fait ses preuves, en attendant l'arrivée du projet final Tu-160.
Seul le prototype a volé, on peut le voir aujourd'hui au musée de l'aviation de Monino près de Moscou, les trois derniers appareils furent ferraillés.
