On sait peu de choses de la vie de Mkhitar : il naît vers 1110/1118 ou 1120 dans la ville de Her (l'actuelle Khoy, en Iran, en ancienne Parskahayk, province de l'Arménie historique selon le géographe arménien du VII siècle Anania de Shirak), où il apprend le grec, le persan et l'arabe, ainsi que la médecine.
Il part ensuite en Cilicie, au royaume de Petite-Arménie, où il entre en contact avec les Catholicos Nersès IV Chnorhali (dont il est le médecin personnel) et Grigor IV Tgha. Il s'établit à Sis et y enseigne la médecine, à l'université comme à l'hôpital. Ses contemporains comme ses successeurs le surnomment le Grand Mkhitar ; il recueille, étudie et synthétise les connaissances médicinales classiques et populaires (principalement grecques et arabes), pour ensuite développer de nouvelles théories, touchant par exemple à l'explication des maladies infectieuses (et prônant l'isolement du malade), à la place de la psychologie dans la guérison, au rôle de l'environnement, des habitudes alimentaires et du style de vie, ou s'opposant partiellement aux saignées. Il introduit également en arménien toute une série de nouveaux mots issus du jargon médical.
Mkhitar meurt en 1200 à Hromgla.