- 20 % du poids des critères proviennent du nombre de professeurs ayant reçu un prix Nobel ou une médaille Fields. Cependant, une université avec un budget élevé peut proposer un poste à un tel professeur, sans qu'il ait une charge de travail significative, afin d'augmenter la notoriété de l'établissement. De plus, les médaillés, et particulièrement dans le cas du prix Nobel, ont produit l'essentiel de leurs travaux de recherches avant la remise du prix et leur présence comme qualité de la recherche à venir est donc discutable.
- Un prix Nobel obtenu par un professeur d'université français peut valoir deux fois moins qu'un Nobel obtenu par un professeur d'université américain ou britannique. En effet, la recherche française s'effectuant en général dans des unités mixtes de recherche, associant des universitaires au CNRS, le classement Shanghaï attribue 50 % du bénéfice à l'université et 50 % à l'organisme du CNRS. Mais puisque le CNRS et les autres organismes de recherche français n'apparaissent pas dans le classement Shanghaï, cela veut dire que « la moitié du bénéfice du prix ne profite à personne et s'évapore complètement » (Albert Fert). Pour ce qui concerne les 60 % de la note, qui dépendent du décompte d'articles et du nombre de citations, « le principe général est le même que pour les prix. (...) dans le cas de publications d'un laboratoire universitaire associant l'université et un organisme comme le CNRS, à peu près 50 % du bénéfice restera en général à l'université et 50 % s'évaporera en ne profitant à personne. »
- Le classement considère presque exclusivement les publications de langue anglaise (essentiellement américaine, britannique et canadienne). Même s'il est devenu souhaitable, dans certains secteurs scientifiques, de publier dans une revue britannique (notamment Nature) ou américaine (notamment Science magazine), la promotion de travaux se fait également lors de conférences ou dans des revues non anglo-saxonnes, et ce pour des raisons multiples (coût, accessibilité, pertinence, impact, etc.). Par ailleurs, si les deux revues centralisent une part importante des publications en sciences exactes, leur influence en sciences humaines est plus faible. De fait, la publication des travaux de sciences humaines ne se fait pas majoritairement en langue anglaise. Elle est donc, à ce titre, négligée par ce classement.
- Les systèmes éducatifs sont différents, certains ayant une sélection à l'entrée des universités (pays anglophones) et d'autres non (France). Cependant, la recherche effectuée par les étudiants commence à partir d'un master, où la France pratique elle aussi une sélection.
- Le budget des universités peut varier de plusieurs ordres de grandeurs, Harvard, avec un capital de 35 milliards de dollars, étant 100 fois plus riche que Paris-VI Jussieu. La taille est également très variable (l'aire urbaine de Paris compte 17 universités et un grand nombre de grandes écoles aux effectifs réduits, chacun de ces établissements étant comptés séparément, tandis que les universités anglo-saxonnes réunissent plusieurs facultés regroupées dans le classement).
- La prise en compte de la qualité de l'enseignement par le seul nombre de prix Nobel et médailles Fields des anciens élèves peut sembler réducteur. En effet, le rôle d'une université n'est pas uniquement de former d'autres chercheurs, et aucun des moyens dédiés à l'éducation dans son ensemble n'est directement pris en compte.
Plusieurs méthodes de classement alternatives existent à ce jour mais aucune n'est dépourvue de défauts.
En France
Philippe Mahrer, directeur du Collège des ingénieurs met en cause ce classement. Selon lui, il n'a qu'une faible notoriété en Chine, même auprès des étudiants, bien que, selon l'ambassade de France en Chine, « [ce classement] trouve en effet un écho important chez les étudiants chinois, pour qui le prestige de l’université est déterminant car il fait partie des critères de recrutement professionnel en Chine ». Le classement est produit par l'Institut d'enseignement supérieur, institut d'une université consacrée aux sciences dures et à la technologie. De plus, Philippe Mahrer considère qu'il ne tient compte que de critères privilégiant la taille de l'établissement : ainsi, des pays disposant de nombreuses écoles ou universités, d'excellence mais de petite taille, passeraient à côté de ce classement. Enfin, ce classement ignorerait les universités, centres de recherche ou écoles travaillant en réseau comme c'est de plus en plus le cas en Europe.
Ce dernier point est tout particulièrement dénoncé (et mis en évidence) par le prix Nobel de physique Albert Fert.
Dans un rapport d’avril 2009, J-C. Billaut, D. Bouyssou et Ph. Vincke décortiquent le fonctionnement du classement de Shanghai, avec leur éclairage de spécialistes d’aide multicritère à la décision. Il en ressort une critique très argumentée des critères qui sont utilisés, ainsi que des paradoxes dans la méthode utilisée .
Bien que ce classement soit très contesté, il a des influences directes sur la politique de la recherche en France, étant par exemple l'un des motifs principaux avancés pour la constitution des Pôle de recherche et d'enseignement supérieur (PRES). Valérie Pécresse justifie en effet son influence ainsi : « M. Legendre a rappelé que le classement de Shanghai était certes critiquable mais que puisqu'on ne pouvait changer les indicateurs dont nous n'étions pas maîtres, il valait mieux les retourner en notre faveur. Lorsqu'ils choisissent leur future université, les étudiants américains, australiens, chinois, indiens regardent ce classement. C'est la mondialisation. On ne peut s'en abstraire et nous devons donc gagner des places, ce qui n'est pas contraire à l'exigence d'excellence de l'université française. »