Méthodologies

Evaluation internationale PASEC2014

Les évaluations internationales du PASEC permettront à la CONFEMEN de contribuer aux débats internationaux et nationaux pour une éducation de qualité pour tous. Au total, dix pays ont participé à l’évaluation PASEC2014 : le Bénin, le Burkina Faso, le Burundi, le Cameroun, la Côte d’Ivoire, le Congo, le Niger, le Sénégal, le Tchad et le Togo.

En Bref

La méthodologie des évaluations internationales PASEC repose sur la comparaison des performances des systèmes éducatifs. Elle vise aussi à rechercher les facteurs associés aux performances des systèmes éducatifs des pays évalués. Dans cette perspective, le PASEC met en relation les compétences des élèves avec des indicateurs scolaires rapportés à 3 niveaux : le milieu socio-économique des élèves, les conditions d’enseignement et les orientations des politiques éducatives.

L’évaluation internationale PASEC permet la mesure du niveau de compétences des élèves en début (2e année) et fin (6e année) de scolarité en langue d’enseignement et en mathématiques. Les procédures d’administration des tests et d’analyse des données des évaluations PASEC sont standardisées afin de garantir la comparaison internationale.

Les tests PASEC sont construits sur la base :

  1. des recherches scientifiques spécifiant les différents stades d’apprentissage de la lecture et des mathématiques ;
  2. des référentiels de compétences communs en lecture et en mathématiques partagés sur le plan international ;
  3. des niveaux de compétences en lecture et en mathématiques des élèves, du contexte environnemental des pays évalués et des domaines d’enseignements majeurs en vigueur dans les programmes scolaires des pays ;
  4. des standards internationaux de mesure de la lecture et des mathématiques .

Au regard de ces spécificités, le test PASEC n’évalue pas spécifiquement le degré de maitrise des curricula nationaux par les élèves, mais contribue à évaluer les capacités des élèves à atteindre des objectifs plus généraux – la maîtrise des compétences clés – en début et fin de scolarité primaire, basés sur un référentiel en lecture et mathématiques commun, universel et adapté aux enjeux de l’école et des sociétés modernes(1).

Les tests PASEC utilisent la méthodologie de la théorie de réponse à l’item IRT, permettant de déterminer de façon précise le niveau des élèves sur une échelle de compétence.

(1) Les standards internationaux de mesure font référence aux procédures de construction, d’administration et d’analyse des tests.

Tests de deuxième année

L’évaluation PASEC de début de scolarité primaire vise à diagnostiquer les capacités des élèves dans les premiers apprentissages de la langue d’enseignement et des mathématiques tout en identifiant les principales difficultés des élèves dans ces disciplines. Le test PASEC2014 de début de scolarité est administré individuellement aux élèves de 2e année du primaire pour établir, le plus tôt possible, un premier bilan de leurs compétences fondamentales, avant que les difficultés se cristallisent entraînant échecs et abandons scolaires.

Un administrateur de test est en charge d’organiser la passation individuelle du test auprès des élèves : il donne les consignes et relève les réponses de l’élève en temps réel. La durée globale du test avoisine 30 minutes par discipline.

Test de lecture

En début de primaire, il est attendu que tous les élèves soient capables de lire et comprendre un message court, simple et familier.

Le test de langue du PASEC2014, de début de cycle primaire, mesure les performances des élèves au cours des premières étapes de l’apprentissage de la lecture, en identifiant si les élèves disposent des connaissances préalables à la lecture, sont en mesure de décoder des lettres et des mots et comprennent des messages simples à l’oral ou à l’écrit.

Définition des sous domaines de langue évalués par le PASEC2014

Compréhension de l’oral : la compréhension de l’oral est évaluée à travers des messages oraux associant des mots et phrases isolés et des textes. Le développement des compétences dans ce domaine permet aux élèves d’étendre leur vocabulaire pour automatiser le décodage en lecture via des correspondances entre l’oral et l’écrit.

Familiarisation avec l’écrit et lecture décodage : la familiarisation avec l’écrit est évaluée à travers des situations de reconnaissance des caractéristiques de l’écrit. La lecture décodage est évaluée à travers des situations d’identification graphologique de lettres, de syllabes, de mots et d’activités de lecture aisées de lettres et de mots. Le développement des compétences dans ce domaine permet aux élèves d’automatiser leur lecture pour accéder au sens des mots et des phrases et pour étendre leur vocabulaire.

Compréhension de l’écrit : la compréhension de l’écrit est évaluée à travers des situations de lecture de mots et phrases isolés et de textes dans lesquels l’élève est amené à retrouver, combiner et interpréter une information. Le développement des compétences dans ce domaine permet aux élèves de lire en autonomie dans des situations quotidiennes variées pour développer leurs savoirs et participer à la vie en société.

Le test de langue s’organise en trois phases successives qui correspondent à l’évaluation des trois sous domaines disciplinaires en langue. Chaque domaine évalué contient une série d’exercices et chaque exercice comprend un exemple puis une suite de questions. Le tableau suivant présente le contenu du test de langue PASEC2014 de début de scolarité primaire.

Présentation du contenu du test de langue PASEC2014

Organisation du test de langue Exercices et compétences évaluées
Partie 1 : Compréhension de l’oral
  1. Comprendre du vocabulaire
  2. Reconnaître du vocabulaire
  3. Reconnaître des familles de mots
  4. Comprendre un texte
Partie 2 : Familiarisation avec l’écrit,conscience phonologique et décodage en lecture
  1. Se représenter l’écrit
  2. Lire des lettres
  3. Reconnaître des syllabes
  4. Lire des mots
  5. Reconnaître des mots inventés
Partie 3 : Compréhension de l’écrit
  1. Décoder le sens des mots
  2. Lire et comprendre des phrases
  3. Comprendre un texte 1
  4. Comprendre un texte 2

Test de mathématiques

Le test de mathématiques de début de cycle primaire mesure les performances des élèves au cours des premières étapes de l’apprentissage des mathématiques en identifiant si les élèves disposent des compétences de base en arithmétique, géométrie, mesure, repérage dans l’espace et logique.

Le texte ci-dessous présente les deux sous domaines disciplinaires évalués en mathématiques dans les tests PASEC2014 de début de scolarité primaire.

Définition des sous domaines de mathématiques évalués par le PASEC2014

Arithmétique : l’arithmétique est évaluée à travers des situations de comptage, de dénombrement et de manipulation des quantités d’objet, d’opération, de suite numérique et de résolution de problèmes. Le développement des compétences dans ce domaine permet aux élèves de passer d’une connaissance intuitive à une connaissance symbolique des nombres.

Géométrie, espace et mesure : la mesure est évaluée à travers des situations de reconnaissance de formes géométriques et autour des notions de grandeur et de repérage dans l’espace. Le développement des compétences dans ce domaine permet aux élèves de passer d’une connaissance intuitive à une connaissance symbolique des notions de géométrie, d’espace et de mesure.

Le test de mathématiques s’organise en deux phases successives qui correspondent à l’évaluation des deux domaines disciplinaires en mathématiques. Chaque domaine évalué contient une série d’exercices et chaque exercice comprend un exemple puis une suite de questions. Le tableau suivant présente le contenu du test de mathématiques PASEC2014 de début de scolarité primaire.

Présentation du contenu du test de mathématiques PASEC2014

Organisation du test de mathématiques Exercices et compétences évaluées
Partie 1 : Arithmétique 1. Compter jusqu’à 1002. Reconnaître des chiffres et des nombres3. Dénombrer des objets4. Discriminer des quantités d’objets5. Ordonner des nombres6. Compléter des suites de nombres 17. Compléter des suites de nombres 28. Additionner et soustraire9. Résoudre des problèmes
Partie 2 : Géométrie, espace et mesure 10. Reconnaître des formes géométriques11. Se repérer dans l’espace12. Apprécier des grandeurs 113. Apprécier des grandeurs 2

Tests de sixième année

L’évaluation PASEC de fin de scolarité primaire s’intéresse aux connaissances et compétences fondamentales en lecture et mathématiques pour comprendre, apprendre et s’intégrer dans des situations de leur environnement. La maîtrise de ces dimensions est déterminante pour poursuivre une scolarité dans de bonnes conditions.

La durée globale du test est de 2 heures maximum par discipline, le test comporte uniquement des questions à choix multiples (QCM).

Test de lecture

Le test de lecture du PASEC2014, en fin de cycle primaire, mesure les performances des élèves sur des activités de décodage de mots et de phrases isolés et de compréhension de texte. L’évaluation des élèves dans ces deux domaines de la lecture permet de décrire le niveau de leurs compétences et leurs principales difficultés pour lire et mobiliser leurs capacités pour donner du sens à des mots, à des phrases et des textes divers et variés.

Définition des sous domaines de lecture évalués par le PASEC2014

Décodage de mots et de phrases isolés : le décodage est évalué à travers des situations de lecture portant sur la reconnaissance graphologique de mots et le déchiffrage du sens de mots et de phrases isolés. Le développement des compétences dans ce domaine permet aux élèves d’automatiser leur lecture pour accéder au sens des mots et des phrases et pour étendre leur vocabulaire.

Compréhension de texte : la compréhension est évaluée à travers des situations de lecture de textes littéraires, informatifs et de documents dans lesquelles l’élève est amené à extraire, combiner et interpréter une ou plusieurs informations. Le développement des compétences dans ce domaine permet aux élèves de lire en autonomie dans des situations quotidiennes variées pour développer leurs savoirs et participer à la vie en société.

Le test PASEC2014 ne mesure pas les autres domaines des langues tels que la production écrite, la compréhension orale, l’expression orale et les outils (orthographe, grammaire, conjugaison etc.) propres à chaque langue.

Le test PASEC2014 accorde une place centrale à l’évaluation des compétences de lecture sur des textes informatifs et des documents. Les activités de décodage de mots et de phrases isolés et de lecture de textes littéraires occupent une place mineure dans le test comme l’illustre le tableau ci-dessous.

Poids des sous domaines de lecture évalués dans le test PASEC2014

Sous domaine de la lecture Supports de lecture Proportion dans le test
Décodage de mots et de phrases isolés Images, mots et phrases isolées 26%
Compréhension de texte Textes littéraires 22%
Textes informatifs et documents  52%

L’interaction des différentes caractéristiques des supports écrits avec le format des questions et les activités cognitives à mobiliser conditionne le niveau de difficulté de la tâche.

Poids des processus cognitifs évalués et des types de supports écrits en compréhension de texte dans le test PASEC2014

Poids des processus cognitifs Poids des types de supports écrits  Total 
 Textes littéraires  Textes informatifs et documents
Extraire des informations explicites  17% 35 %  52%
Réaliser des inférences simples  6%  15 % 21%
Interpréter et combiner des informations 6%  21 %  27%
Total  29%  71%  100%

Test de mathématiques

Le test de mathématiques du PASEC2014, de fin de cycle primaire, vise à mesurer les performances des élèves en arithmétique, en géométrie et en mesure. L’évaluation des élèves dans ces trois sous domaines des mathématiques permet de décrire le niveau de leurs compétences et leurs principales difficultés pour connaître des principes mathématiques de base, appliquer et raisonner dans des situations diverses et variées.

Définition des sous domaines de mathématiques évalués par le PASEC2014

Arithmétique : l’arithmétique est évaluée à travers des situations de reconnaissance, d’application et de résolution de problèmes autour des opérations, des nombres entiers, des nombres décimaux, des fractions, des pourcentages, des suites numériques et des tableaux de données.

Mesure : la mesure est évaluée à travers des situations de reconnaissance, d’application et de résolution de problèmes autour des notions de grandeur : longueur, masse, capacité, aire, périmètre.

Géométrie et espace : la géométrie et l’espace sont évalués à travers des situations de reconnaissance autour des propriétés des formes géométriques à deux ou trois dimensions, des relations et des transformations géométriques, et des positions et représentations spatiales.Le développement des compétences dans ces domaines permet aux élèves d’intérioriser des concepts mathématiques pour les mettre en relation et raisonner.

Le test PASEC2014 accorde une place importante à l’évaluation des compétences de mathématiques en arithmétique et à un moindre degré en mesure. Les activités de géométrie-espace occupent quant à elles une place mineure dans le test.

Poids des sous domaines de mathématiques évalués dans le test PASEC2014

Domaines Proportion
Arithmétique 46,9%
Mesure 35,8%
Géométrie et espace 17,3%

Le test PASEC2014 permet d’apprécier le niveau des élèves sur des activités cognitives : connaître et comprendre des notions de mathématiques, appliquer des formules et raisonner sur un problème. Le raisonnement occupe une place mineure dans le test comme l’illustre le tableau ci-dessous.

Poids des processus cognitifs évalués en mathématiques dans le test PASEC2014

Processus cognitifs Proportion
Connaître et comprendre 40,7%
Appliquer 39,5%
Raisonner 19,8%

Questionnaires contextuels

D’importantes données contextuelles ont été collectées au cours de l’enquête PASEC2014 pour informer sur la relation entre le contexte et les résultats scolaires.

La mise en relation de ces composantes avec les résultats scolaires permet de donner des points de repère sur l’efficacité et l’équité des systèmes. Dans le cadre de l’évaluation PASEC, ces différents niveaux de champs contextuels sont regroupés pour permettre une analyse statistique adaptée à l’environnement scolaire tout en tenant compte de la structure hiérarchique des données.

Trois niveaux d’étude sont retenus :

Niveau 1 : le milieu familial et l’élève

Ces informations sont collectées par l’intermédiaire d’un questionnaire administré collectivement aux élèves de 6e année dans la langue d’enseignement et/ou dans la langue maternelle des élèves pour faciliter la compréhension des élèves et le remplissage des questionnaires.

Niveau 2 : l’école, la classe et la communauté locale

Ces informations sont collectées via des déclarations des directeurs et des enseignants. Les données en lien avec les ressources matérielles et éducatives sont renseignées par l’enquêteur avec l’appui du personnel de l’école afin de s’assurer de la présence effective de ces moyens dans l’école.

Niveau 3 : le pays, son système éducatif et ses zones éducatives

Ces informations sont collectées via un questionnaire à destination des pays et via la collecte d’informations externes et comparables auprès d’organismes internationaux.

Pour chacun de ces champs d’étude, le PASEC étudie les moyens (ou intrants tels que les manuels scolaires), les processus de transformation (tels que les pratiques pédagogiques), les résultats et les produits du système (ou extrants, tels que le niveau de compétence des élèves en compréhension de texte).

Collecte des données

Passation des tests de 2e année

L’évaluation de 2e année se déroule en passation individuelle et 10 élèves sont évalués par classe. L’élève est assis à côté de l’administrateur et répond à des questions à choix multiples. Les administrateurs ont pour consigne de répéter les instructions et questions au mot près afin de garantir la standardisation des tests dans tous les pays. Les tests se déroulent sur deux matinées avec le premier jour le test de langue ou de mathématiques et le second le test non effectué. Le troisième jour est réservé aux questionnaires. L’administrateur pose les questions et l’élève peut se servir de son support élève ou de son ardoise pour y répondre. Lors de la seconde matinée de passation de test, les élèves passent en ordre inversé. Le temps de passation des tests et questionnaires est approximativement de 20 minutes par test et par élève chaque jour.

Passation des tests de 6e année dans les écoles

Le temps de passation des tests et questionnaires de 6e année (passation collective) est de 2 heures maximum chaque matinée, chaque test est organisé en 2 séquences d’une heure séparées par une pause de 10 minutes. L’ordre de passation des matières (lecture ou mathématiques) s’étend sur deux jours et est indiqué au préalable dans la fiche de suivi école. L’administrateur ne peut changer cet ordre. Suivant la méthode des cahiers tournants, l’administrateur répartit les cahiers de façon à ce qu’il y ait quatre groupes de quatre cahiers différents avec 5 élèves par groupe.

La première partie du test de langue ou mathématiques est descellée. Avant d’administrer celle-ci, l’administrateur s’assure que les élèves ont bien compris les consignes et les modalités de réponse aux questions. Pour cela il procède à quelques exemples standards à voix haute avant les élèves et répond aux éventuelles interrogations. Une fois la première heure écoulée, les élèves bénéficient d’une pause de dix minutes permettant à l’administrateur de sceller le test effectué et desceller la seconde partie. Le même processus est répété pour l’administration de la seconde partie. Une fois terminée, les cahiers élèves sont ramassés et la seconde partie scellée. L’administrateur répète la même démarche le lendemain avec la matière non évaluée puis l’administration du questionnaire élève.

Passation des questionnaires contextuels

En 2e année, l’administration du questionnaire élève se fait en passation individuelle avec l’administrateur qui complète le questionnaire en fonction des réponses de l’élève. Cette passation peut s’effectuer dans la langue de socialisation de l’élève pour faciliter la compréhension si l’administrateur parle la langue du milieu. En 6e année, la passation des questionnaires est collective, l’administrateur lit les questions et les modalités de réponse et doit s’assurer que tous les élèves complètent le questionnaire.

L’administration des questionnaires maîtres et directeurs suit un seul et même processus. Les maîtres des classes évaluées complètent un questionnaire. Chaque administrateur est en charge d’un questionnaire maître selon la classe qu’il enquête tandis que le remplissage du questionnaire directeur est à la charge de l’administrateur de 6e année. Le maître et le directeur répondent directement à la première partie du questionnaire. La seconde partie est réalisée avec l’administrateur qui s’assure de vérifier les réponses des maîtres et directeurs selon les documents et équipements de la classe et de l’école disponibles.

Echantillonnage

Les données des évaluations PASEC sont collectées à partir d’un échantillon représentatif de la population scolaire des niveaux ciblés de chaque pays. L’échantillon permet d’estimer les résultats moyens d’un pays sans enquêter la population complète de tous les élèves scolarisés. Des normes et des mécanismes de contrôle de la qualité sont mis en place par le PASEC tout au long du processus de l’évaluation pour garantir la fiabilité des échantillons et la comparabilité des données entre les pays.

Pour les deux niveaux enquêtés, la population cible est constituée de l’ensemble des élèves inscrits en 2e et 6e année du primaire, quel que soit le type d’école (écoles publiques, privées, communautaires, etc.). En moyenne, la plupart des élèves en 2e année du primaire ont un âge compris entre 8-10 ans dans la majorité des pays (soit légèrement plus que l’âge officiel, prévu dans les textes des pays qui fixent l’entrée dans le cycle primaire entre 6 et 7 ans) . Pour la dernière année, cette moyenne d’âge est comprise entre 12-14 ans dans la majorité des pays.

L’échantillonnage pour la sélection des écoles est effectué par le PASEC en collaboration avec les pays. Les écoles sont sélectionnées de façon aléatoire dans les pays en suivant une procédure standardisée : un échantillonnage stratifié avec un tirage systématique proportionnel à la taille combinée des deux niveaux (6e et 2e année). Un échantillon aléatoire standard de 90 écoles pour la 2e année et de 180 écoles pour la 6e année est sélectionné dans la base de données scolaire d’un pays.

Dans certains cas, un échantillon d’écoles plus important a été sélectionné pour permettre aux pays d’approfondir des questions jugées importantes en fonction de leurs problématiques éducatives respectives. Dans ce cas, le PASEC peut sur-échantillonner pour disposer de résultats valides sur un sous-groupe spécifique (par exemple, Togo, Cameroun, Burkina-Faso pour l’évaluation PASEC2014). Ces différences de taille d’échantillon sont compatibles avec la méthodologie de l’évaluation. Lors des opérations de collecte des données dans les écoles, une classe de 6e année et une classe de 2e année sont tirées de façon aléatoire par les administrateurs de test à l’intérieur des écoles constituant les deux échantillons.

20 élèves sont sélectionnés dans la classe de 6e année, ce qui correspond à un échantillon attendu de 3 600 élèves alors que dans la classe de 2e année, 10 élèves sont choisis de façon aléatoire, ce qui correspond à un échantillon attendu de 900 élèves. En pratique, ces effectifs ne sont jamais atteints, pour des motifs d’absentéisme, d’abandon des élèves, de fermeture de l’école, etc.

Les difficultés liées aux opérations de collecte de données peuvent contraindre les pays à exclure de la population cible, avant de lancer l’enquête sur le terrain, toutes les écoles d’une zone géographique ou des écoles isolées (conflit, problèmes climatiques…). Dans certains cas, une école peut être exclue de la population cible dans la limite des normes fixées en raison d’une très petite taille. Les normes d’exclusion sont fixées par le PASEC et un pays ne peut exclure plus de 5% des élèves lors de la sélection des écoles. Lors de l’enquête dans les écoles, les élèves atteints d’un handicap intellectuel ou d’un handicap moteur permanent qui ne leur permet pas de composer un test papier crayon sont exclus de la population cible. Selon les normes du PASEC, le taux global d’exclusion de la population cible, quelles qu’en soient les raisons, doit rester inférieur à 5%.

Saisie des données

L’élaboration des instruments de collecte a été effectué de manière à faciliter le codage des données. Ainsi, il n’y a pas de phase de codage des données proprement dite. Cette tâche a été confiée aux agents de saisie qui, tout au long de la saisie de données, se sont basés sur les grands principes de l’encodage des données. Des masques de saisie par type d’instrument sont développés avec le logiciel de saisie Epi Data. Ils comportent des contrôles n’autorisant dans chacune des cellules de saisie que des données respectant certaines conditions (de format, de valeur…). Ces masques ont été mis à la disposition des équipes nationales. De nombreux outils ont également été développés et partagés avec les équipes nationales, pour faciliter le recrutement des agents de saisie, le contrôle de la qualité de la saisie et l’organisation des fichiers de saisie.

La supervision et le contrôle de la saisie dans chaque pays sont assurés par deux membres de l’équipe nationale (le statisticien et l’informaticien). Une phase quotidienne de double saisie partielle (entre 10 et 15% des instruments de collecte de données) permet un suivi rapproché de la qualité du travail de saisie. Ceci permet une estimation des taux d’erreurs qui ne doivent pas dépasser les 5% au risque de reprendre la saisie des instruments traités dans la journée.

Nettoyage des données

Après la collecte et la saisie des données issues de l’évaluation internationale PASEC2014, les équipes nationales des dix pays participants ont transmis chacune au PASEC, 12 bases de données.

Le nettoyage des données des dix pays a couvert la période d’août à décembre 2014 par le PASEC en collaboration avec les équipes nationales des pays participants. Il s’est réalisé sous le logiciel Stata et conformément aux procédures du PASEC en la matière. Le respect scrupuleux de ces procédures a permis de fiabiliser la comparabilité des données internationales.

Le nettoyage des données a été un processus collaboratif entre les équipes nationales et le PASEC.

Pondération des données

Les données issues de l’évaluation ont été collectées à partir d’un échantillon et non auprès de la population complète d’écoles et d’élèves.

La pondération permet l’estimation non biaisée des paramètres de population. La pondération des données consiste à attribuer un « poids » à chaque école et élève de l’échantillon qui est fonction de sa probabilité de sélection dans l’échantillon et des éventuels ajustements. Ce « poids » permet de s’assurer que chaque école et élève de l’échantillon représente un nombre approprié d’écoles et d’élèves dans la population totale d’écoles et d’élèves. Ainsi, la pondération vise à calculer des paramètres de population au départ d’un échantillon représentatif de cette même population.

La pondération des données est faite dans les bases élèves pour tous les pays. Le poids final d’un élève comprend cinq composantes : le poids initial de l’école, éventuellement l’ajustement pondéral pour la non-réponse des écoles dans leurs strates respectives, le poids de la classe au sein de l’école, le poids initial de l’élève au sein de sa classe et éventuellement l’ajustement pour la non-réponse des élèves dans leurs classes respectives.

Analyse psychométrique des données

L’analyse psychométrique des tests cognitifs, dans un contexte international, doit répondre à plusieurs questions fondamentales, parmi lesquelles on peut citer :

  1. Le test mesure-t-il une seule dimension latente ? En d’autres termes, le test est-il unidimensionnel ?
  2. Les différents items qui composent le test, mesurent-t-ils la même variable latente que le test dans sa globalité ?
  3. Les items s’ajustent-ils au modèle de la réponse et aux items adoptés dans le cadre de l’étude ?
  4. Certains items favorisent-ils un groupe au détriment d’un autre ? En d’autres termes, l’item présente-t-il un fonctionnement différentiel ?

Par ailleurs, l’un des objectifs de l’évaluation PASEC2014 est de présenter la description des compétences des élèves de 6e et de 2e année sur une échelle de niveaux. Pour répondre à toutes ces questions, le PASEC a utilisé la théorie de réponse à l’item comme méthode d’analyse psychométrique des tests.

L’analyse psychométrique s’est déroulée en deux grandes phases : les analyses menées lors de la mise à l’essai des instruments, et celles menées lors de la collecte définitive de 2014. Dans chacune de ces deux phases, les analyses psychométriques pour chaque discipline ont suivi les trois étapes suivantes :

  • Analyses nationales :
    1. Analyse du fonctionnement des items par livret (6e année uniquement);
    2. Analyse du fonctionnement des items tous livrets confondus.
  • Synthèse des analyses nationales :
    1. Analyse du fonctionnement différentiel des items ;
    2. Analyse du fonctionnement différentiel du test.
  • Analyses internationales :
    1. Calibration internationale des items ;
    2. Calcul des scores élèves.

Analyse psychométrique des données de la mise à l’essai

Les analyses menées sur les données de l’essai sur le terrain ont pour principal objectif d’améliorer les instruments de mesure. Les résultats ont été largement discutés avec les développeurs de tests pour identifier les items défectueux et isoler les causes potentielles de ce dysfonctionnement pour y remédier pour la collecte définitive des données. Les items qui ne sont défectueux que dans un pays donné devront attirer l’attention et les équipes nationales devront déterminer si ce dysfonctionnement spécifique n’est pas causé par un problème de traduction, d’adaptation ou d’impression.

Analyse psychométrique des données de la collecte définitive

L’analyse des données cognitives dans le cadre de la collecte définitive de l’évaluation PASEC2014 a poursuivi d’autres objectifs. Il ne s’agit plus d’étudier les propriétés psychométriques des items en vue d’une amélioration des instruments de mesure mais bien d’estimer les paramètres de la distribution des performances des élèves et les relations que ces compétences entretiennent avec certains contextes familiaux ou scolaires.

Cependant, les analyses menées lors de la collecte définitive des données ne diffèrent pas fondamentalement de celles de la mise à l’essai. En effet, les analyses nationales et la synthèse ont permis d’identifier quelques items résiduels qui continuent de dysfonctionner. L’identification des causes potentielles de ces dysfonctionnements a permis de déterminer si l’item est maintenu ou supprimé, tant au niveau international qu’au niveau national.

La troisième étape, spécifiquement le calcul des scores, peut suivre une méthodologie différente pour la collecte définitive. La méthodologie adoptée pour le calcul des scores se base sur une approche avec tirage de cinq valeurs plausibles. Cette approche a nécessité d’intégrer dans le modèle de réponse à l’item, les variables contextuelles après de multiples recodages. Egalement, des modèles dits « multidimensionnels » ont été utilisés pour estimer les scores des élèves par sous domaine de chaque discipline en plus des scores globaux.

Enfin, pour faciliter l’interprétation des scores, comme il est d’usage de le faire à l’instar des programmes internationaux, le PASEC rapporte les résultats des élèves sur une échelle internationale de moyenne 500 et d’écart-type 100.

Analyse économétrique des données

La phase d’analyse des données est celle où l’on cherche à répondre aux questions qui ont motivé la conduite d’une évaluation.

C’est le point d’aboutissement que chacune des précédentes phases a préparé. A cette étape, il est procédé à l’estimation des scores des élèves au niveau global mais aussi pour différentes catégories (par exemple filles vs garçons, élèves ruraux vs élèves urbains, etc.) à des fins d’analyse d’équité. Ces analyses permettent de distinguer les différences brutes de scores entre les modalités d’une variable. Ces analyses préliminaires sont réalisées grâce aux méthodes de régression (plutôt que des tests simples) permettant ainsi de corriger la violation des hypothèses de la mise en œuvre des tests (de comparaison de moyennes de Student).

Les analyses précitées sont complétées par des analyses multi variées qui permettent d’analyser les scores des élèves en lien avec une gamme plus large de variables. On s’intéresse alors à la relation du score de l’élève à différentes variables prises conjointement telles que l’âge de l’élève, le genre de l’élève, le capital socioéconomique de sa famille, ses conditions d’apprentissages à domicile et à l’école.

La méthode d’analyse multi variée consiste en la mise en œuvre de modèles multi niveaux. Classiquement, un modèle sans variables explicatives est estimé et permet de déterminer les pourcentages de la variance des scores qui est imputable à chaque niveau de tirage (élèves et écoles). La démarche subséquente consiste en l’ajout de bloc de variables. On introduit successivement les caractéristiques des élèves, celles des maitres et de la classe et finalement celles du directeur et de l’école. Pour chacun des sous-modèles estimés, il est possible de calculer la réduction de la variance qui résulte de l’ajout du bloc de variables.

Résultats

Consulter les résultats de l’évaluation PASEC2014.