Le rapport Bourdin distingue des critiques sur la légitimité de la mesure et sur la méthode.
Les rankings comparent souvent des institutions difficilement comparables. Ainsi, ces classements mettent sur un même pied des universités généralistes, des grandes écoles, ou encore Harvard, alors que cette dernière dispose d’un budget annuel de 3 milliards de dollars pour vingt mille étudiants !
Les rankings agrègent des indicateurs difficilement comparables. Le choix d’indicateurs pour chacune des missions de l’université (enseignement, recherche, services à la cité,…) et leur agrégation pour obtenir un score unique conduit généralement à « additionner des pommes et des poires ». Pour prendre un exemple, le nombre d’articles publiés dans des revues prestigieuses a probablement moins d’importance que le taux d’encadrement des étudiants si vous cherchez une université où étudier, mais elle en aura plus si vous êtes une entreprise désireuse de débuter un partenariat de recherche. Et l’addition entre ce nombre d’articles et le taux d’encadrement n’a pas grande signification. Ceci explique les grandes variations que l’on peut observer, pour la même université, d’un classement à l’autre et même d’une année à l’autre dans le même classement.
Par construction, les rankings privilégient le monde anglophone et les grandes universités spécialisées telles que les écoles polytechniques. Pour les raisons évoquées ci-dessus, les rankings sont conçus avec un modèle d’université idéale. Implicitement, ce modèle est bien souvent celui des grandes universités anglo-saxonnes. Il n’est donc pas étonnant de voir que les universités nord-américaines occupent les premiers rangs, suivis des universités anglaises. De même, les universités qui se spécialisent dans un petit nombre de domaines porteurs grimpent plus facilement dans ces classements. Les universités européennes généralistes de service public ne cadrent donc pas forcément avec les critères utilisés pour ces classements.
Le chercheur québecois Yves Gingras souligne le manque de fiabilité du classement de Shanghai, qui fait varier de 100 rangs la position de l'université Humboldt de Berlin, en 2008, en raison de la publication en 1922 du Prix Nobel d'Einstein.
Le rapport Bourdin soulève plusieurs limites méthodologiques :
«
- Les mesures et pondérations choisies ne font l'objet d'aucune justification théorique. Les utilisateurs des classements sont invités à partager des choix dont ils ne sont pas toujours bien informés. De façon générale, la légitimité des indicateurs synthétiques est incertaine, d'une part parce qu'ils agrègent des données disparates, et d'autre part, parce qu'ils résultent de choix qui placent en fait l'observateur supposé en situation d'acteur.
- La source des indicateurs est problématique, dans le cas de données déclarées par les universités elles-mêmes. Des études menées aux États-Unis ont montré que ces données étaient l'objet de manipulations, ou que certaines règles étaient modifiées par les universités en sorte d'améliorer artificiellement leur place dans les classements70(*).
- Les indicateurs choisis ont parfois un caractère indirect (utilisation de « proxies »). Ainsi par exemple, que mesurent, en réalité, les enquêtes de réputation telles que celles effectuées dans le cadre du classement du Times (TH-QS) ? Mesurent-elles la sélectivité de l'établissement, la qualité de sa recherche, son prestige historique ? Ces mesures créent des effets de rémanence, car la réputation d'un établissement dépend en partie des classements passés.
- Les indicateurs retenus sont liés entre eux, en sorte que la dimension « multicritères » du classement est en partie superficielle. Dans le cas du classement de Shanghai, les critères bibliométriques se chevauchent (« nombre d'articles référencés au niveau international » et « nombre d'articles publiés dans les revues « Science » et « Nature » » par exemple) ou recoupent indirectement d'autres critères comme l'obtention de distinctions académiques (prix Nobel, médailles Fields). Dans le cas du classement du TH-QS, la réputation dépend aussi de ce qui est mesuré par les autres indicateurs employés, en sorte que les mêmes éléments sont pris en compte plusieurs fois pour la réalisation d'un classement, dans une mesure qu'il est difficile d'évaluer.
- Enfin, les écarts statistiques ne sont pas toujours suffisamment significatifs pour qu'un classement établissement par établissement, par ordre décroissant de performance soit réellement pertinent. Le classement de Shanghai s'effectue d'ailleurs par tranche de 50 puis de 100 établissements, à compter du 100ème établissement. Or les écarts sont-ils vraiment plus significatifs avant qu'après la centième place ? »