Murphy entre à l'école publique d'Appleton et obtient le diplôme de l'école d'Appleton en 1876. Il obtient son doctorat du Rush Medical College en 1879 et entre en internat de 18 mois au Cook County Hospital. Il y travaille brièvement ensuite. De 1882 à 1884, il part en Autriche et Allemagne et réalise des travaux pratiques à Vienne, Munich, Berlin et Heidelberg. Au cours de cette période il est principalement basé à Vienne et travaille avec Theodor Billroth, qui le forme à certaines techniques de gastrectomie toujours en usage aujourd'hui.
Bien que ses prouesses chirurgicales ne soient pas en question, une fraction de ses collègues américains considéraient son approche de la pratique de la médecine comme prétentieuse, et son travail était mieux accueilli en Europe qu'à Chicago. Il est l'un des premiers avocats en faveur de l'ablation de l'appendice dans tous les cas d'appendicites, alors que la norme à l'époque était plutôt de la conserver. Accueillie dans un premier temps avec scepticisme, sa théorie a emporté le suffrage et fait aujourd'hui autorité après qu'il eut démontré ses résultats positifs sur plus de 250 cas au cours de ses conférences.
Il est connu pour les actes médicaux éponymes suivant :
Murphy a développé le bouton de Murphy pour réaliser une anastomose sans suture de la vésicule biliaire au duodénum (son traitement favori pour les cholécystites aigües) mais il est également approprié pour les anastomoses intestinales. Il l'a mis au point dans un laboratoire d'expérimentation animale dans une grange derrière sa maison, et l'utilise moins d'une semaine après ses essais sur un chien. Ce bouton peut-être considéré comme le précurseur de l'agrafeuse moderne, après avoir été la méthode de choix de la clinique Mayo et dans tout les Etats-unis pendant plus de 20 ans.
En 1886, Murphy est le premier à refaire une artère fémorale sectionnée par balle. En 1898, Murphy est le premier aux USA à introduire une immobilisation artificielle pour prémunir les tuberculeux contre l'effondrement du poumon (pneumothorax). Il est pionnier en matière de greffe osseuses, et dans la gestion des ankyloses, en particulier avec la chirurgie réparatrice. Il est aussi reconnu pour ses innovations en matière de cancer de la prostate, et d'anastomose des viscères.
En 1912, il réalise très certainement la première endoscopie par voies biliaires.
Il fait parti des membres fondateurs de l'American College of Surgeons.
Tôt dans sa carrière, le 4 mai 1886, il fut l'un des docteurs dépêchés sur la scène du massacre de Haymarket Square, dans le quartier de Near West Side à Chicago. Il soigne environ 30 hommes en travaillant jusqu'à 3h30 du matin. Une bombe a été lancée sur des officiers de la police de Chicago, tuant plusieurs personnes (y compris dans la lutte qui a suivi entre la police et les manifestants anarchiques), et Murphy a été appelé à témoigner dans le procès historique qui a suivi. Ce conflit, ainsi que les évènements qui l'entourent sont à la base de la fête du travail et à la tradition du défilé du 1er mai.
Après la tentative d'assassinat du 14 octobre 1912 sur l'ex-Président des États-Unis Theodore Roosevelt à Milwaukee dans le Wisconsin, Roosevelt est conduit à l'hôpital de la miséricorde de Chicago. Lorsque Murphy lui demande s'il a peur, Roosevelt lui répond :« J'ai chassé assez longtemps, docteur, pour savoir qu'on ne peut pas tuer un orignal avec un canon court »