Le Ki-27 fut le principal chasseur de l'Armée Impériale juste avant la Deuxième Guerre mondiale. Lors de son utilisation durant la Seconde Guerre Sino-Japonaise en mars 1938 au dessus du nord de la Chine, le Ki-27 bénéficia d'une certaine supériorité aérienne jusqu'à l'introduction au sein des forces chinoises du rapide Polikarpov I-16.
En 1939, lors de la Bataille de Halhin Gol contre l'URSS, le Ki-27 fit face à des biplans Polikarpov I-15 et des monoplans Polikarpov I-16. Durant la phase initiale du conflit, ses performances étaient comparables aux premiers I-16 et largement supérieures aux I-15, auxquelles il faudra rajouter la meilleure formation des pilotes nippons. Cependant, les faiblesses du Ki-27 étaient son absence de blindage, de réservoirs auto-obstruants et un armement inadéquat de deux mitrailleuses de 7.7mm (Calibre 0.303). Mais en dépit de cela, à chaque fois que des Ki-27 ont réussi à disperser une formation ennemie et à l'engager en combat tournoyant, les soviétiques n'avaient que peu de chances de s'en tirer...
Plus tard, l'armée de l'air russe commença à concevoir des modèles d'avions améliorés, tels que les nouveaux I-16. Plus rapide, plus lourdement armé, avec un meilleur blindage, le nouvel I-16 se révéla supérieur au Ki-27. Ce nouvel avion permit aussi aux pilotes soviétiques de s'échapper en piquant. D'autres nouvelles tactiques virent le jour : attaquer en formation en profitant de l'avantage de sa vitesse et/ou de l'altitude et partir : la tactique dite du Hit and Run. En conséquence, les pilotes japonais épuisés par ses combats constants subissent de lourdes pertes, malgré l'excellente manœuvrabilité et les débuts prometteurs du Ki-27. Durant cette période, le Japon réclama 1 252 avions ennemis abattus, ce qui se révèle peu réaliste car 6 fois supérieur au nombre officiel soviétique.
Le faible rayon de virage du Ki-27 amena l'Armée à se concentrer exclusivement sur la manœuvrabilité, décision qui handicapa par la suite le développement de chasseurs mieux armés ou plus rapides. Le Ki-27 servit à partir du commencement de la Seconde Guerre Mondiale dans le Pacifique, escortant les bombardiers attaquant la Malaisie, Singapore, les Indes orientales néerlandaises, la Birmanie et les Philippines (où il eut maille à partir avec le Brewster F2A Buffalo).
Le Ki-27 combattit aussi les Tigres volants dans les premiers mois du conflit. Bientôt surclassé par le Curtiss P-40 Warhawk, le Ki-27 fut remplacé sur le front par le Nakajima Ki-43 Hayabusa, où il continua à servir comme avion d'entrainement.
Le Ki-27 fut aussi utilisé par les armées de Mandchoukouo ou de Thaïlande où il servit au service actif. Au sein de l'armée thaï, les Ki-27 ont endommagé un P-51 Mustang et abattirent un P-38 Lightning. À la fin de la Guerre, quelques Ki-27 furent chargés de 500 kg d'explosifs pour des missions Kamikaze.