Chaque évaluation met l'accent sur une compétence particulière, en 2000 sur la lecture, en 2003 sur les mathématiques et en 2006 sur les sciences. Un nouveau cycle (2009, 2012, 2015) s'articulera sur ces mêmes compétences.
Au cours du premier cycle d'évaluation, plus d'un million d'élèves, sélectionnés de façon aléatoire dans les établissements publics ou privés, ont été évalués à l'aide de tests écrits (épreuve de deux heures). Élèves et chefs d'établissements ont également rempli des questionnaires qui ont permis d'établir des corrélations entre les performances et l'environnement des élèves, notamment leur accès aux TIC et leur maîtrise de ces derniers. Lors du second cycle d'évaluation l'accent sera mis sur l'informatisation des épreuves et de la collecte des données. En 2005, 13 pays ont été volontaires pour informatiser les épreuves de sciences.
Les réactions aux enquêtes sont nombreuses. Elles proviennent tout d'abord de la presse nationale, surtout intéressée par le classement des pays participants : « Les élèves allemands sont-ils des imbéciles ? » demande le magazine d'actualité Der Spiegel du 10 décembre 2001. « L'école suisse a reçu la fessée, La Suisse est-elle le cancre de l'Europe? » s’inquiète La Tribune de Genève. D'autres commentaires viennent d'enseignants ou de spécialistes de l'éducation qui en soulignent soit l'intérêt, soit les limites, voire pour certains les risques.
La plupart des commentateurs notent que l'enquête a eu un effet salutaire en attirant l'attention des pouvoirs et de l'opinion publique sur la nécessité de réformer les différents systèmes éducatifs. Les questionnaires, notamment, ouvrent des pistes de réforme possible en identifiant certains facteurs de réussite. Comme les concepteurs de l'étude PISA ont dû se poser la question des compétences nécessaires à des jeunes de 15 ans pour faire face au monde d'aujourd'hui, avant de mettre en place les protocoles d'évaluation, il s'avère que le Haut Conseil de l'Education Nationale a bien dû admettre que l'Education Nationale n'a jamais posé la question en ces termes, - les compétences à acquérir à 15 ans. L'école française vise des savoirs acquis, matière par matière : ceci aboutit à enseigner par exemple les Mathématiques non comme un outil au service d'apprentissages futurs, mais comme une discipline en elle-même. D'où le malaise face aux résultats PISA d'une partie des enseignants français.
Enfin, l'étude pose la question de la culture éducative en France : la France est non seulement un des pays qui consacre les plus forts moyens à l'éducation par élève, mais c'est aussi le pays où les élèves sont 'les plus stressés', et se sentent peu soutenus par leurs enseignants. (Corpus attitudes par rapport à l'école de l'enquête).
Les critiques soulignent la difficulté à comparer des systèmes éducatifs différents, animés de philosophies différentes, et donc à exploiter les résultats des tests. Ainsi en France, l'APMEP (association des professeurs de mathématiques de l'enseignement public), notant les meilleures performances des élèves finlandais aux tests de mathématiques, souligne-t-elle la différence entre l'enseignement français, soucieux de développer l’« accès à l’abstraction, à la symbolisation, à la rigueur », et l'enseignement des mathématiques appliquées au réel et aux situations concrètes tel qu'il se pratique dans d'autres pays : « rien ne prouve que l’accent mis sur les mathématiques du « réel » soit corrélatif d’avancement dans le développement de compétences spécifiques dans le domaine mathématique »
La naturalisation de l'intelligence qui fonde ces méthodes d'évaluation, présenterait l'inconvénient général de tous les tests psychotechniques basés sur les sciences cognitives. En effet, ils réduisent l'activité spirituelle à ce qu'elle a de plus prosaïque - les manipulations de symboles que pourraient faire des machines - et ils n'accordent aucune place au jeu, au mensonge, à l'humour, au simulacre, à la colère, au rêve, et à toutes les passions qui font le socle de l'esprit humain et de la vie sociale.
L'AMPEP voit également un risque possible induit par les enquêtes PISA : « Déjà, dans plusieurs pays, on observe une incitation des responsables des systèmes éducatifs à modifier l’enseignement, la formation des enseignants et même les programmes, pour s’adapter aux conceptions et aux tests de PISA ».