L’enquête internationale périodique PISA a fait l’objet d’un article publié par Libres Feuillets le 16 octobre 2011. L’analyse critique contenue dans cet article de 2011 est reproduite ci-dessous en annexe, à la suite de l’analyse consacrée à la dernière enquête en date, celle de 2012 publiée fin 2013 (qui met l’accent sur les mathématiques).

PISA fait grand bruit chaque fois que ses résultats sont publiés. On croit pouvoir en tirer des vérités comparatives, on décerne aux Etats des bons points ou des mauvais points selon leurs niveaux scolaires ainsi mesurés, les politiques s’en mêlent. Mais comparaison n’est pas raison.
En réalité, PISA compare des situations nationales peu comparables, et mesure pour une large part des réalités irréelles, comme en témoignent les questionnaires soumis aux élèves.

 Qu’est-ce que PISA

 Présentation générale

PISA (en anglais Program for International Student Assessement) est une enquête menée tous les trois ans auprès de jeunes de 15-16 ans dans les pays membres de l’OCDE (Organisation de Coopération et de Développement Economique) et dans de nombreux pays partenaires. Cette enquête prétend évaluer l’acquisition de savoirs et savoir-faire essentiels à la vie quotidienne au terme de la scolarité obligatoire. Ses tests, qui se présentent sous la forme de questionnaires, portent sur la lecture, la culture mathématique et la culture scientifique. Dans chacun des pays participants, les élèves remplissent les questionnaires tous les trois ans. Ils sont sélectionnés à partir d’un échantillon aléatoire d’établissements scolaires (publics ou privés) ainsi que sur un critère d’âge (de 15 ans et 3 mois à 16 ans et 2 mois au début de l’évaluation), et non en fonction de leur classe.

 Les collectes de données déjà réalisées ont eu lieu en 2000, 2003, 2006, 2009 et 2012. L’idée est de procéder à des comparaisons dans l’espace et dans le temps. Mais ces comparaisons sont sujettes à caution, car le cadre d’évaluation évolue d’une enquête à l’autre.

 L’ambition affichée : la préparation à la « vie réelle » par les systèmes éducatifs

 Plutôt que d’évaluer la maîtrise d’un programme d’enseignement, PISA se concentre sur ce dont les élèves de 15 ans sont supposés avoir besoin dans leur vie future et cherche à déterminer ce qu’ils pourront faire grâce à ce qu’ils auront appris. L’enquête vise à mesurer leur capacité à réfléchir et à appliquer leurs connaissances dans des situations tirées du monde réel et de la vie courante.

 Ce qui suit, jusqu’au titre intitulé « Analyse critique », reproduit en substance l’argumentation de l’OCDE.

 D’après cette organisation, les programmes scolaires sont surtout conçus en tant qu’ensembles d’informations et de techniques à maîtriser et n’accordent pas assez d’importance aux compétences qui devraient être développées dans la perspective d’une application dans la vie adulte. Ils privilégient encore moins les compétences générales qui devraient être acquises de manière transversale dans l’ensemble du programme pour permettre à l’individu de résoudre des problèmes et d’appliquer son raisonnement et ses concepts aux situations rencontrées dans la vie. PISA, au contraire, a l’ambition d’étudier l’état de préparation à la vie adulte et, dans une certaine mesure, l’efficacité des systèmes d’éducation, en évaluant le niveau de formation des élèves par rapport aux objectifs fondamentaux des systèmes d’éducation, et non par référence aux corpus de connaissances.

 En sciences, posséder des connaissances particulières, savoir des noms de plantes et d’animaux par exemple, présente moins d’intérêt, dit PISA, que d’avoir assimilé des notions fondamentales comme la consommation d’énergie, la biodiversité et la santé humaine, lorsqu’il s’agit de réfléchir sur des thèmes scientifiques qui suscitent des débats de société. En mathématiques, être capable de raisonner en termes quantitatifs et de concevoir des relations ou des correspondances est plus important que de savoir répondre aux questions figurant habituellement dans les manuels d’exercices, lorsqu’il s’agit de faire preuve de compétences mathématiques dans la vie courante. En lecture et compréhension de l’écrit, alors que les évaluations sont souvent axées sur des textes continus organisés sous forme de phrases et de paragraphes, l’enquête PISA part de l’idée que les individus rencontreront au cours de leur vie adulte un vaste éventail d’écrits (dossiers de candidature, formulaires administratifs, publicités, etc.) et qu’il ne suffit pas de pouvoir lire les textes généralement proposés à l’école. Elle met l’accent sur l’usage pour lequel ont été rédigés divers types de textes : romans, lettres personnelles ou biographies rédigées en vue d’une lecture à usage « privé » ; documents ou avis officiels destinés à un usage « public » ; manuels d’entretien ou rapports destinés à une lecture à des fins « professionnelles », et manuels scolaires ou fiches d’exercices destinés à une utilisation « scolaire »…

Analyse critique

Caractère artificiel de la « vie réelle » de PISA

De même que PISA 2006 et PISA 2009, PISA 2012 a posé aux élèves des questions bizarres sur des situations irréelles. Par exemple, en « résolution de problèmes », ils ont été invités à retrouver par tâtonnements le fonctionnement d’un climatiseur neuf dont on aurait égaré le mode d’emploi. Sans doute dans l’idée que si le climatiseur n’était pas neuf, ils sauraient le faire marcher sans tâtonnements. Mais perdre le mode d’emploi d’un appareil qu’on vient d’acheter, « il faut le faire », dirait le vendeur auquel on s’adresserait aussitôt pour récupérer ce document ! Autre exemple : l’achat de tickets de métro à tarif réduit à un distributeur où le tarif réduit n’est pas disponible. L’épreuve consiste à se rendre compte de cette indisponibilité, et à se résigner à payer le tarif normal (au lieu de s’adresser à un autre distributeur ou au guichet) !

Le « non-dit » des questions posées

S’agissant d’un réseau de routes formant un entrelacs entre différents quartiers, et dont les tronçons sont représentés avec la mention du temps nécessaire pour les parcourir, PISA a posé aux élèves les questions suivantes :
– quel trajet doivent suivre trois personnes habitant chacune dans un quartier différent pour se retrouver ensemble dans l’un des quartiers sans que le déplacement de chacune soit supérieur à 15 mn ?
–  quel est le trajet entre deux quartiers éloignés nommément désignés, qui ne dépasse pas 31 mn ?
La réponse est obtenue en additionnant les temps de déplacement correspondant aux tronçons qui composent l’itinéraire le plus rapide, à déterminer. L’énoncé de la question passe sous silence le fait qu’une absence de déplacement pour l’une des personnes peut être considéré comme un trajet ; et le fait que, dans le graphique du réseau, qui semble ne pas avoir d’échelle, la longueur d’un tronçon est tout de même proportionnelle à sa longueur réelle, précision qui, dans la vie réelle, permet au lecteur d’une carte routière d’avoir, en première approximation, une vue synthétique de ce que peut être la route probablement la plus courte.

Dans une autre « résolution de problème », un aspirateur robot circule au milieu de plusieurs « blocs », les uns fixes de couleur rouge, les autres déplaçables de couleur jaune. Il est demandé aux élèves de décrire ce que fait l’aspirateur lorsqu’il rencontre un bloc jaune. L’énoncé du problème escamote la question complète, car la description attendue est en fait celle-ci : « décrire ce que fait l’aspirateur depuis le moment où il rencontre un bloc jaune jusqu’au moment où il s’immobilise après cette rencontre ».

Fausseté de la démarche comparatiste retenue

 Les connaissances et les compétences évaluées ne sont pas choisies par PISA parce qu’elles font partie du dénominateur commun des programmes scolaires nationaux, mais, nous explique-t-on, parce qu’elles sont jugées essentielles pour la vie future. Cependant, les vraies raisons de la référence aux notions de « vie réelle » et de « vie future » sont ailleurs. Dans un contexte international, privilégier la référence à des programmes d’enseignement nationaux aurait pour effet de concentrer l’enquête sur les éléments communs aux différents pays. Il faudrait alors multiplier les compromis, ce qui déboucherait, selon l’OCDE, sur une évaluation trop restrictive pour être utile aux gouvernements ou Etats désireux de se comparer aux autres.
Au surplus, l’OCDE (34 pays membres) a perdu en homogénéité et donc en comparabilité, en englobant désormais des pays situés à des stades de développement dissemblables, et en incluant dans ses enquêtes PISA 31 « pays et économies partenaires » (dont les entités chinoises de Shanghai, Hong-Kong, Macao !). D’où l’exigence encore plus nécessaire d’une définition a priori, comme socle de la comparaison, d’un type de connaissances et de compétences considérées comme « utiles » partout, au prix d’un sérieux appauvrissement intellectuel.

 Fausseté de l’idée d’un acquis de base national et international à 15-16 ans

 Les élèves de l’échantillon sont sélectionnés en fonction de leur âge, et non en fonction de leur classe, ce qui peut poser problème en France où le redoublement est plus fréquent qu’ailleurs. A cette objection, on répond, cyniquement ou raisonnablement selon le point de vue, que la France doit réduire ses taux de redoublement.

 L’approche de PISA, fondée sur la fiction d’un socle commun de connaissances supposé acquis à 15-16 ans, est rudimentaire par rapport aux approches des programmes nationaux d’enseignement fondés sur la construction progressive d’un savoir sur une plus longue durée.

 Dans les approches modernes de plus longue durée, choisies par les pays développés, les notions de base, enseignées de manière échelonnée, peuvent être abordées par les différents systèmes scolaires à des niveaux de profondeur variable et à des âges différents, parfois plus tardifs. En conséquence, on retombe sur l’inconvénient de comparer des réalités non comparables.

 En outre, le discours de PISA se fonde sur la distinction entre les connaissances résultant des programmes d’enseignement, et les notions de base indispensables. Mais il est illusoire de croire que ces dernières puissent être assimilées indépendamment de l’acquisition des connaissances plus élaborées dont elles constituent le socle et qui permettent d’en comprendre l’intérêt.

 Tests et bachotage

 Dans son livre intitulé : Les stratégies absurdes (Le Seuil, 2009) l’économiste Maya Beauvallet a indiqué qu’aux Etats-Unis, une vingtaine d’Etats ont développé un système de rémunérations et de sanctions des écoles sur la base de tests auxquels sont soumis les élèves. Ces tests remontent pour les premiers aux années1930. A partir des années 1950, ils ont servi à mesurer la performance non pas des élèves mais de leurs professeurs. A partir des années 1980, ils ont débouché sur des récompenses ou des sanctions monétaires.

 On a constaté que les résultats s’améliorent toujours une fois passée la période de mise en place de ces tests. Les élèves auraient donc appris quelque chose ? Ils ont surtout appris à répondre à un exercice particulier. Ils connaissent mieux le test et ses rouages (voire ses « roueries »), s’en soucient davantage, lui consacrent parfois une part trop importante de leurs efforts, développent une stratégie de bachotage. De leur côté, les enseignants enseignent à leurs élèves la meilleure manière de réussir le test, au détriment de tâches importantes que le test ne mesure pas.

Une étude américaine a mesuré le temps passé devant la télévision, le taux d’absentéisme des élèves et le temps de travail à la maison comme indicateurs d’une qualité autre que la qualité mesurée par ces tests scolaires. Ses auteurs n’ont trouvé aucune relation significative entre l’amélioration des résultats des tests et le temps passé devant la télévision ou le temps passé aux devoirs à la maison.

 L’introduction d’un nouveau test se traduit immédiatement par une baisse des performances. Les élèves seraient-ils devenus moins bons? Non, simplement le test  mesure la connaissance du test. Tel est la conclusion à laquelle sont parvenus plusieurs chercheurs américains (par exemple Robert Linn : « Assessments and Accountability », Educational Researcher vol 29, 2, 2000)

 En conclusion

 Un idéal de certificat d’études

Les élèves français formés aux épreuves du certificat d’études de la Troisième République (épreuves fondées sur des questions concrètes prétendant s’inspirer elles aussi de la vie courante) auraient sans doute été mieux adaptés aux tests de PISA que les élèves d’aujourd’hui pourtant dotés de connaissances plus poussées dans un contexte pédagogique plus ambitieux.
Ainsi, les questions de mathématiques posées dans le cadre de PISA 2012 semblent, d’après les exemples qui en sont donnés, se concentrer sur des calculs de vitesses et de débits (celui d’une porte à tambour au lieu du débit d’un robinet) comme au bon vieux temps du certificat d’études.

 Une méconnaissance des études sur la validité des tests

 De nombreuses études ont montré depuis longtemps que les tests ne mesurent pas ce qu’ils prétendent mesurer. A ce sujet, on vient de voir que, pour les chercheurs américains dans le domaine de l’éducation, le test mesure principalement la connaissance du test.
On peut dire ironiquement que ce constat est encourageant pour les pays qui souhaitent améliorer leur performance PISA et battre les pays concurrents: il leur suffit d’y préparer leurs élèves en les familiarisant avec les types de questions, les critères de notation, les « trucs » à connaître et les « pièges » à éviter.
C’est du reste ce que font les bons élèves dans les cursus nationaux d’enseignement : ils se familiarisent avec les types d’épreuves et s’y exercent, en sachant bien que la moitié de la réussite est due à cette compréhension distincte de la connaissance de la matière elle-même.

 Qu’importe ce qui est réellement comparé, pourvu que l’on puisse dresser un palmarès

 Bien qu’il soit le plus souvent superficiel voire infondé, le palmarès, exploitant le profond désir humain de comparaison aux autres, d’imitation et d’émulation, est un produit qui se vend bien.
Chaque fois qu’un palmarès arrive sur le « marché », la question n’est pas de se demander ce qu’il nous apprend, mais à qui il profite: à ceux qui les élaborent, à ceux qui les diffusent, à ceux qui les utilisent ? En l’occurrence, grâce à ces comparaisons de PISA fondées sur l’apologie d’une sorte de SMIC intellectuel commun, l’OCDE gagne un surcroît de notoriété et d’influence; ceux qui préconisent la «performance du capital humain» dès 16 ans s’en trouvent confortés ; les médias qui les publient augmentent leur diffusion; les collectivités nationales s’en délectent: joie fallacieuse quand les résultats sont bons; plaisir masochiste quand ils sont médiocres; et les gouvernements peuvent y trouver de quoi justifier des réformes simplificatrices…

Excellence et égalité des chances

PISA a commencé à réfléchir plus sérieusement à cette problématique, mais à partir de l’idée (pieuse ?) qu’il n’y a rien de contradictoire à œuvrer à la fois pour l’excellence et pour rehausser le niveau  de compétence des élèves peu performants.
Le pourcentage des enfants d’immigrés, qui ont dans tous les pays plus de difficultés que les autres, reste de l’ordre de 15 % dans le total français des élèves (au-dessus des 12 % constatés dans l’ensemble des pays),  mais l’enquête de 2012 montre que si, en France, le pourcentage des élèves très performants est à peu près le même qu’en 2003, celui des élèves en difficulté y a beaucoup augmenté.

***

ANNEXE: analyse de PISA 2006 et 2009

Caractère artificiel de la « vie réelle »

 La « vie réelle » des enquêtes PISA 2006 et 2009.est une fiction, comme le montrent les trois exemples suivants.

PISA 2006 a présenté aux élèves un tableau de distances routières dans lesquelles figure bizarrement une case blanche qu’ils doivent s’évertuer à combler par des calculs. Mais jamais un élève de 15 ans, ni d’ailleurs un adulte, ne sera confronté à ce genre de « trou » dans un tableau ayant pour objet d’indiquer les distances entre les villes répertoriées ; sans compter que les cartes de la vie réelle comportent l’indication d’une échelle qui permet d’éviter les contorsions de raisonnement auxquelles le problème de PISA oblige les élèves au nom de la vraie vie.

PISA 2006 a demandé à quelle distance habitent l’un de l’autre deux élèves qui parcourent respectivement 5 et 2 km pour aller à l’école, et commente ainsi cet exemple en croyant pouvoir se moquer de ceux qui le critiquent : « Parmi les enseignants auxquels ce problème a été soumis pour la première fois, nombreux sont ceux qui l’ont rejeté, invoquant le fait qu’il était trop facile et que n’importe qui pouvait déterminer que la bonne réponse est trois km. Selon un autre groupe d’enseignants, ce n’est pas un bon item, puisqu’il n’y a pas de réponse (voulant dire par là qu’il n’y a pas qu’une seule réponse numérique possible). Une troisième réaction a été de dire que c’était un mauvais item en raison des nombreuses réponses possibles : faute d’informations suffisantes, le mieux que l’on peut en conclure est que les enfants habitent à une distance comprise entre trois et sept km l’un de l’autre ; il s’agit là d’une caractéristique peu souhaitable. Enfin, un petit nombre d’enseignants a estimé qu’il s’agissait d’un excellent item : les élèves doivent comprendre la question ; cet item fait réellement appel aux capacités de résolution de problèmes, car il ne correspond à aucune stratégie connue des élèves ; enfin, il s’agit d’un « beau » problème mathématique, malgré l’absence d’indices sur la manière dont les élèves vont le résoudre. »

PISA 2009  comportait le test suivant. Un menuisier dispose de 32 mètres de planches et souhaite s’en servir pour faire la bordure d’une plate-bande dans un jardin. Il envisage d’utiliser un des quatre tracés suivants pour cette bordure : deux tracés à angles droits en dents de scie A et C, un parallélogramme B, un rectangle D. Les élèves devaient indiquer si les quatre tracés peuvent être réalisés avec les 32 mètres de planches. Commentaire de PISA :« Cet item complexe à choix multiple se situe dans un contexte éducatif, dans la mesure où il présente un problème « quasi-authentique » qui est plus susceptible d’être rencontré en classe de mathématiques que dans la vie de tous les jours… Pour résoudre ce problème, les élèves doivent comprendre que les tracés bidimensionnels A, C et D présentent le même périmètre… Ils doivent déterminer si les tracés de bordure peuvent ou non être réalisés avec 32 mètres de planches. Les trois tracés de forme rectangulaire peuvent l’être, mais pas le quatrième qui est un parallélogramme. »
PISA reconnaît donc qu’il s’agit d’un problème «quasi-authentique », ce qui signifie bel et bien « irréel »…

Biais et pièges dans les questions posées et dans les critères de notation

On trouve dans les questionnaires de PISA des biais et des questions pièges, auxquels cas ce qui est testé n’est pas la capacité à mobiliser des connaissances, mais plutôt la capacité à ruser, par exemple:
– Insertion dans les énoncés d’informations inutiles pour la résolution du problème posé;
– Exigence d’une réponse unique à une question sur un texte dont le libellé autorise en bon sens plus d’une réponse ;
– Demande de réponse à une question, sans avertir que l’on attend plus d’une réponse ;
– Appréciation portant non pas sur la compréhension d’un texte ou d’un énoncé, mais sur la compréhension de la question plus ou moins claire posée par PISA sur ce texte ou énoncé.

Comme exemple de questions biaisées, mentionnons l’ « item » intitulé « sûreté des téléphones portables » de PISA 2009. Un tableau (provenant d’un site web) développe en plusieurs points cette question: les téléphones portables sont-ils dangereux ? Et présente deux colonnes de réponses : oui et non.
Le point 4 du tableau présente les arguments oui et non suivants:
Oui : les utilisateurs de portables ont 2,5 fois plus de risques de développer un cancer du cerveau dans les zones proches de l’oreille qui est en contact avec le portable.
Non : les chercheurs reconnaissent qu’il n’est pas sûr que cette augmentation soit liée à l’usage de téléphones portables.
PISA demande aux élèves en quoi la proposition : « Il est difficile de prouver qu’un phénomène est la cause d’un autre » s’applique au point 4 ci-dessus. Parmi quatre possibilités de réponse A, B, C ou D, PISA indique comme bonne réponse la C (« la proposition soutient l’argument Non mais ne le prouve pas »), et commente ainsi le test : celui-ci demande aux élèves de reconnaître la relation entre une généralisation extérieure au texte et des assertions formulées dans un tableau ; son degré de difficulté tient notamment à deux facteurs: les termes abstraits employés dans la question (« Il est difficile de prouver qu’un phénomène est la cause d’un autre ») ; et  les relations également abstraites proposées entre les assertions opposées oui et non.
PISA reconnaît que les élèves sont notés principalement, non sur la compréhension du tableau, mais sur la compréhension d’une proposition abstraite ajoutée de l’extérieur à ce tableau. En outre, celui-ci est logiquement défectueux : il suggère que l’on peut répondre rationnellement à la fois oui et non à une question ; ses « oui » ne contredisent pas les non, ses « non » ne contredisent pas les oui.

 Dominique Thiébaut Lemaire