Immédiatement à la fin de la Seconde Guerre mondiale, l'URSS lança le développement d'une première génération de bombardiers à réaction. Iliouchine proposa un avion quadriréacteur désigné Il-22 et dont le prototype vola pour la première fois le 24 juillet 1947.
A cause de ses réacteurs peu performants, le Il-22 était nettement sous-motorisé et avait un rayon d'action insuffisant. Cependant, comme l'URSS venait d'obtenir une licence de fabrication du réacteur anglais Rolls-Royce Nene, Iliouchine put lancer la construction d'un nouvel avion équipé de deux copies du Nene dès début 1948, en reprenant les travaux menés pour le Il-22.
Le premier prototype du Il-28 fit son vol inaugural le 8 juin 1948, suivi par un second avion le 30 décembre de la même année. Mis en compétition avec le Tupolev Tu-14, le Il-28 fut désigné vainqueur en mai 1949. Après l'évaluation des exemplaires de pré-série, la production fut lancée pour de bon en septembre 1949, les premières avions sortant d'usine en mars 1950.
La version initiale destinée au bombardement fut rapidement suivi de variantes :
- Il-28U d'entraînement avec un second poste de pilotage à l'avant et tout l'armement retiré (premier vol le 18 mars 1950)
- Il-28R de reconnaissance, avec des caméras installées dans la soute à bombe et une capacité en carburant augmentée (premier vol le 19 avril 1950)
- Il-28T avec une soute à bombes modifiée pour l'emport de torpilles (premier vol le 8 janvier 1951)
Le développement de la première bombe atomique soviétique entraina la mise au point d'une version du Il-28 à capacité nucléaire (Il-28N) qui réalisa un largage réel lors d'un essai le 23 août 1953. D'autre versions furent réalisés à quelques exemplaires, notamment pour tracter des cibles ou pour des missions de guerre électronique. Quelques Il-28 furent même désarmés et cédés à la compagnie aérienne Aeroflot pour le transport du courrier.
Le Il-28 fut le bombardier principal de l'armée de l'air soviétique pendant toutes les années 1950, avant d'être remplacé par des avions plus modernes. Le Il-28 fut exporté vers une vingtaine de pays au total, dont la Tchécoslovaquie qui construisit l'avion sous licence. Le principal utilisateur fut la Chine : les livraisons commencèrent en 1952 et concernèrent plusieurs centaines d'exemplaires. Ce pays a également construit lui-même le Il-28, sans licence et avec des modifications locales, sous la désignation de H-5. Le premier exemplaire produit en Chine vola en septembre 1964 et certains de ces avions furent exportés.