Le développement d'un avion d'attaque supersonique a commencé au centre de conception de Shenyang en août 1958, la direction du projet devant se faire à Nanchang. Le prototype fut abandonné en 1961 suite aux problèmes posés par le Grand Bond en avant, mais néanmoins poursuivi par une petite équipe et relancé officiellement à partir de 1963. Le premier vol eut lieu le 4 juin 1965, et à la fin de l'année la production d'un lot de présérie fut autorisée. Des modifications majeures entre autres des systèmes hydraulique, de carburant, et d'armement furent jugées nécessaires, les deux prototypes définitifs volant à partir d'octobre 1969. La production du Q-5 de série fut approuvée à la fin de l'année et les livraisons commencèrent en 1970, soit 12 ans après le début du projet.
Bien que basé sur le MiG-19, le Q-5 est cependant assez différent au final avec :
- un avant complètement redessiné pour permettre l'ajout d'un radar (probablement jamais installé), ce qui a obligé à déplacer les entrées d'air sur les côtés
- un fuselage allongé et rendu conforme à la loi des aires
- de nouvelles ailes d'une flèche moins prononcée et d'une surface plus grande
- une soute à bombes de 4 m de long pouvant contenir deux bombes de 500 kg ou deux ou quatre (selon les sources) bombes de 250 kg ; les versions utilisées par la marine chinoise peuvent également emporter une torpille (ils remplacèrent les Il-28T comme torpilleurs) ; les portes des soutes à bombes de certains Q-5 furent modifiées au début des années 1970 pour tester leur capacité à emporter une arme nucléaire
Pour le reste de l'armement, le Q-5 dispose de deux autres points d'emport sous fuselage pour deux bombes, deux points d'emport sous chaque aile, et un canon de 23 mm placé dans chaque aile.
Un millier d'exemplaires de cet appareil ont été construits, la plus grande partie pour l'armée populaire de libération de la Chine.