Comparaisons internationales - PISA

Que valent les comparaisons internationales sur l’école ?

Depuis plusieurs années, le système éducatif français est évalué, entre autres, à l’aune de systèmes de comparaison internationale. PISA, instauré en 2000, auquel participe une soixantaine de pays membres de l’OCDE, en est l’exemple le plus médiatique mais pas unique. Aucun système public ne peut et ne doit craindre une évaluation. Encore faut-il que la population soit informée sur les critères de l’évaluation, leur portée et la réalité des résultats. L’US Mag a demandé à Bernard Hugonnier, directeur adjoint à la direction de l’OCDE pour l’Education, et à Romuald Normand, maître de conférences en sociologie à l’INRP, université de Lyon II, de livrer leurs analyses sur ces systèmes.

Derrière la face cachée - Romuald Normand

La communauté scientifique est divisée sur la place que doivent occuper les comparaisons internationales de résultats dans les politiques d’éducation. Les chercheurs qui les conçoivent passent pour des experts indépendants : c’est oublier souvent qu’ils répondent à un cahier des charges et qu’ils sont rémunérés pour cela. En fait, les statistiques internationales sont le produit d’une construction sociale et politique, et donc de rapports de force et de compromis, à partir desquels sont établies des conventions.
D’abord, certaines conceptions de l’éducation sont davantage privilégiées que d’autres. Ainsi, n’importe quel observateur aura remarqué que les disciplines évaluées dans ces grandes enquêtes internationales sont assez restrictives :
les mathématiques, les sciences, la lecture. Alors que faire acquérir aux élèves des valeurs citoyennes et les intégrer progressivement dans une collectivité, développer leurs capacités critiques, leur faire acquérir une culture commune sont aussi des buts légitimes. Or, les comparaisons internationales s’appuient sur un postulat assez simple : les « compétences de base » sont des indicateurs de la « productivité » des systèmes éducatifs.
Cette conception est défendue par les économistes du capital humain qui considèrent que la qualité de l’éducation, mesurée par les acquis des élèves dans les comparaisons internationales, se révèle plus importante pour la croissance économique que l’augmentation des dépenses d’éducation. Leur chef de file est Eric Hanushek, membre de la Hoover Institution qui abrite les intellectuels américains de la Nouvelle Droite, ardents défenseurs de la politique éducative de Georges Bush. Son disciple, Ludger Wössman joue un rôle actif dans le Réseau Européen des Économistes de l’Éducation créé spécifiquement par la Commission Européenne pour ses prises de décision dans les politiques d’éducation et de formation en Europe.
Ensuite, l’expertise propre aux comparaisons internationales se nourrit de gros contrats, dans le marché mondial des tests et des outils d’évaluation, et de la vente des services qui leur sont associés.
C’est pourquoi de gros consortiums comme Citogroep aux Pays-Bas ou Acer en Australie sont fortement engagés dans ces grandes enquêtes internationales et occupent une position dominante. C’est le cas aussi de l’ETS (Educational Testing Service), une agence occupant la première place dans le marché des tests aux États-Unis. L’ETS est aussi le concepteur de comparaisons de résultats couvrant le territoire américain et ses méthodes sont reprises par les concepteurs de PISA.
Pourtant, les enquêtes internationales ne sont pas sans poser d’importants problèmes méthodologiques. Leurs concepteurs font face à d’énormes difficultés de traduction des items dans la langue des pays participants. Les psychométriciens sont divisés sur la pertinence du modèle de mesure utilisé et sur la combinaison de questions qui sont jugées mal adaptées à la mesure des compétences des élèves.
D’autres chercheurs font remarquer que les programmes scolaires de certains pays sont beaucoup plus proches des compétences évaluées que d’autres. La taille de l’échantillon des individus passant les tests est très variable d’un pays à l’autre. Il existe aussi des variations importantes dans l’âge des élèves et les années de scolarité pris en compte. Enfin, les différences dans les scores s’expliquent aussi par des spécificités sociales et culturelles relatives aux situations pédagogiques, aux cadres institutionnels, et à la place de l’évaluation dans chaque pays.
Malgré ces critiques, les comparaisons internationales ont été utilisées de manière récurrente pour critiquer l’éducation publique et les enseignants, leur absence de performance, considérés comme un frein dans la mise en place d’une obligation de résultats centrée sur les compétences de base. Récemment, la Commission européenne a défini des compétences-clés dont s’inspire aujourd’hui le socle commun français. Elle utilise les résultats de PISA pour les intégrer à un ensemble d’indicateurs de mesure de l’efficacité, de l’équité, et de la qualité des systèmes éducatifs européens. Elle a égale- ment défini des cibles à atteindre pour que l’Europe soit l’économie de la connaissance la plus compétitive au monde, notamment dans le domaine de la lecture. Ces indicateurs, qui s’appuient en partie sur l’enquête PISA et les données statistiques fournies par les États membres, contribuent à un processus d’harmonisation et de convergence des politiques d’éducation en Europe. La Commission européenne a créé également un centre de recherche spécifique, le Center for Research on Lifelong learning (CRELL) pour construire de nouveaux instruments de mesure qui doivent aider à la mise en oeuvre d’une Méthode Ouverte de Coordination à laquelle la France a accepté de participer.

PISA : un outil moderne d’aide à la décision politique - Bernard Hugonnier

Le rôle de l’OCDE est, entre autres, de développer des instruments d’aide à la décision politique. Les comparaisons internationales et l’identification des pratiques et des politiques qui marchent font partie de ces instruments. Ces instruments sont d’autant plus riches qu’ils se fondent sur l’analyse d’un nombre élevé de pays : initialement, les 30 pays de l’OCDE participaient à PISA dans le premier cycle de 2000. Il y en avait 41 en 2003, 57 en 2006 et il y en aura plus de 90 en 2009. Ce nombre croissant montre aussi l’intérêt porté par les pays à PISA et la confiance qu’ils font aux informations qu’il fournit.
PISA évalue les connaissances et les compétences des élèves dans trois matières fondamentales : lecture, mathématiques et sciences. L’idée fondatrice est d’être en mesure de comparer l’efficience des systèmes éducatifs au niveau le plus macro en comparant ce qui est investi (les dépenses d’éducation) avec les résultats (les performances des élèves). Il est intéressant de noter qu’alors que les dépenses éducatives ont augmenté de plus de 35 % depuis l’an 2000 en moyenne dans les pays de l’OCDE, les performances moyennes dans PISA sont restées inchangées.
Mais PISA évalue aussi la mesure dans laquelle les jeunes avec des difficultés d’apprentissage, qui sont souvent ceux d’origine modeste ou issus de l’émigration, peuvent obtenir de bons résultats. Cet objectif d’équité sociale est essentiel pour l’OCDE. Il est clair que toute amélioration des systèmes éducatifs bénéficie en premier aux plus défavorisés, ce qui est un argument supplémentaire pour démontrer l’urgence qu’il y a à améliorer ces systèmes, ce qui ne se fait pas seulement en dépensant davantage. PISA nous donne aussi, grâce à un questionnaire très complet adressé aux élèves et aux chefs d’établissements, des indications sur les circonstances pouvant expliquer les résultats. Grâce à PISA, les pays participants disposent d’un outil unique pour les renseigner sur le niveau de performances de leurs élèves en termes absolus mais aussi en termes relatifs puisqu’ils disposent des mêmes informations pour d’autres pays. Ces informations leur indiquent où ils se trouvent et les retards qu’ils doivent éventuellement combler. Il est clairement dans l’intérêt de tous, mais au plus haut point et en premier lieu des élèves, que les systèmes éducatifs soient améliorés afin qu’eux-mêmes disposent de la meilleure éducation pour leur développement personnel et pour leur vie privée, sociale et professionnelle.
L’influence de PISA dans les pays dépend pour l’essentiel de l’usage que les pouvoirs publics veulent bien faire des instruments développés par l’OCDE. Cet usage est fort dans certains pays en matière d’éducation (Allemagne, Danemark, Norvège, Japon, Corée) et plus faible dans d’autres (États-Unis, France, Autriche, Italie).
Fondamentalement, à part de rares exceptions, les pays conservent et leur niveau de performance et leur rang dans les divers cycles de PISA. Le classement n’est cependant pas le plus important, de loin. C’est la relation investissement/résultat qui compte et les facteurs pouvant expliquer les différences entre pays afin d’améliorer les systèmes moins efficaces. Les résultats pour la France mettent en avant des résultats qui se situent dans la moyenne des pays de l’OCDE sans aucune progression sur les trois cycles de PISA. L’analyse met aussi en avant une efficience moyenne et une équité insuffisante (la capacité du système éducatif à compenser les handicaps des élèves en difficulté compte tenu de leur origine sociale).

Normand R., 2004, « Les comparaisons internationales de résultat : problèmes épistémologiques et questions de justice » in « L’influence des organisations internationales sur les politiques d’éducation », Éducation Sociétés, n° 12, De Boeck/INRP.
Normand R., 2005, « De l’accountability aux standards : la traduction européenne des politiques de la performance » in Van Haecht (coord.) « Éducation et formation. Les enjeux politiques des rhétoriques internationales », Revue de l’Institut de Sociologie, Université Libre de Bruxelles, 2005. 1-2.
Rochex J.-Y., 2006, (coord.), PISA : analyses secondaires, questions et débats théoriques et méthodologiques, Revue Française de Pédagogie, n° 157, oct.-nov.-déc.

POUR ALLER PLUS LOIN
Le programme PISA (acronyme pour Programme international pour le suivi des acquis des élèves) est un ensemble d’études de l’OCDE visant à mesurer les performances des systèmes éducatifs des pays membres. Leur publication est triennale. La première étude fut menée en 2000, en 2003 et en 2006.
• Site officiel du programme PISA : http://www.pisa.oecd.org/ http://www.education.gouv.fr : Élèves de 15 ans : premiers résultats de l’évaluation internationale PISA 2006 en culture scientifique.
• Les notes d’information – DEPP – N° 07.47, décembre 2007.
• À paraître : un dossier de la DEPP sur l’analyse approfondie des résultats de l’évaluation internationale PISA 2006.
• Lire : Jeanne Diot, « Éducation : le choc des classements internationaux », revue Sciences humaines, décembre 2007, pp. 48-49.

Le site de la Hoover Institution : http://www.hoover.org/
Le site du Réseau des Économistes Européens de l’Éducation : http://www.eenee.org/
Le site du CRELL : http://crell.jrc.ec.europa.eu/

Autres articles de la rubrique Comparaisons internationales - PISA