Méthodologies

Evaluation PASEC 2011-2012

Administrée au Mali, au Cambodge, en République Démocratique Lao et au Vietnam, la méthodologie du PASEC 2011-2012 reprend l’approche nationale suivie de 1991 à 2010 en s’ouvrant davantage à des pays dont la langue d’enseignement n’est pas le français et en proposant des innovations méthodologiques pour améliorer la présentation des résultats des élèves sur des échelles de compétences. Ces améliorations sont rendues possibles par des nouveaux tests et la mise en place de nouvelles démarches d’organisation des tests et d’analyse des résultats (modèle de réponse à l’item – IRT) L’identification des facteurs de réussite reste une composante dominante de l’évaluation.

Les résultats des élèves et le niveau de difficultés des questions sont présentés sur une même échelle de scores, par discipline et par année d’études évaluées. Des seuils et niveaux sont établis sur les échelles de résultats pour apprécier la part des élèves qui maîtrise les connaissances et compétences mesurées par le test et comprendre les principales difficultés rencontrées par les élèves.

Les résultats sont publiés dans des rapports nationaux. Tous ces rapports contiennent une rubrique méthodologique permettant d’entrer dans le détail de la méthodologie globale et des spécificités nationales des évaluations.

En Bref

Tout comme dans la méthodologie PASEC 1991-2010, les élèves sont évalués au début (pré-test) et à la fin (post-test) de l’année scolaire, au début (2e année) et à la fin de l’école primaire (5e année) en langue d’enseignement et mathématiques.

Selon ce principe, aucun élève n’est soumis à l’ensemble des items d’un test car le test complet est subdivisé en plusieurs blocs d’items, et chaque élève n’est testé que sur certains blocs d’items concentrés dans un livret. Un système rigoureux de répartition aléatoire des items dans les blocs et de ces blocs entre les élèves via plusieurs livrets, ainsi que de blocs d’items d’ancrage, permet de reconstituer le degré de maîtrise globale moyen de l’élève sur l’ensemble des items du test PASEC, tout en neutralisant les effets liés à l’apprentissage et à la fatigabilité. Ainsi, si les élèves n’ont pas répondu à tous les items du test, les blocs d’items d’ancrage permettent de faire un lien entre tous les livrets, de placer tous les items du test sur une même échelle, et ainsi de prédire le score des élèves aux items qu’ils n’ont pas passé.

Instruments

Administrés au Cambodge, en République démocratique populaire lao, au Mali et au Vietnam, les tests PASEC 2010-2011 mesurent les compétences fondamentales en mathématiques et en langue d’enseignement. Des questionnaires contextuels sont également administrés.

Les résultats des élèves aux tests en langue d’enseignement et mathématiques permettent d’apprécier le niveau de connaissances et de capacités des élèves en compréhension orale, compréhension de l’écrit, production de l’écrit, arithmétique, géométrie et mesure. Dans ces domaines d’apprentissage, sont décrits des niveaux de compétences faisant référence aux processus cognitifs indispensables aux élèves pour traiter l’information.

Le cadre conceptuel des épreuves englobe la majorité des situations scolaires et de vie courante auxquelles des élèves sont confrontés dans leur quotidien. En ce sens, les textes proposés pour évaluer la compréhension orale ou écrite sont à la fois continus (textes narratifs, descriptifs, argumentatifs) et discontinus (plans, tableaux…) afin de mette l’élève en présence de différents formats de textes. Globalement, le test est construit sous forme de questions à choix multiples, mais il repose également sur des questions ouvertes auxquelles les élèves doivent répondre par écrit.

La structure des domaines d’apprentissage et des processus cognitifs peut varier selon les pays, puisque le test standard est adapté au contexte national de chaque pays. Par exemple au Vietnam (2012), les domaines d’apprentissage de mathématiques en 2e et 5e année sont les mêmes : Opération et numération, mesure et géométrie, tout comme les processus cognitifs (connaître et comprendre, appliquer et résoudre un problème).

Collecte des données

En 2ème année et pour chaque discipline testée (langue d’enseignement et mathématiques), les tests comportent environ 30 items pour un temps d’évaluation de 1 h 30 (2 séances de 45 minutes séparées par une pause de 15 minutes). Pour chaque test, la langue d’enseignement et les mathématiques sont évaluées sur deux matinées différentes par un administrateur de test.

En 5e année et pour chaque discipline testée (langue d’enseignement et mathématiques), les tests comportent environ 50 items pour un temps d’évaluation de 3 h maximum (2 séances de 1 h 30 séparées par une pause de 15 minutes). Pour chaque test, la langue d’enseignement et les mathématiques sont évaluées sur deux matinées différentes, les élèves les passant de manière autonome, sauf pour les items relatifs à la compréhension de l’oral.

Echantillonnage

La base de sondage utilisée pour tirer l’échantillon d’écoles soumises à cette évaluation provient du ministère de l’Education, de l’Alphabétisation et de la Promotion des langues nationales pour l’année 2011. La méthode d’échantillonnage retenue par le PASEC est celle d’un échantillonnage stratifié à trois degrés. D’abord, ce sont les écoles qui sont tirées, et ensuite, à l’intérieur de chaque école, une classe est tirée. Enfin, à l’intérieur de chaque classe, un nombre précis de 15 élèves est tiré pour passer les tests.

La base de sondage est préalablement scindée en strates choisies pour représenter au mieux la diversité du contexte éducatif du pays. Des écoles sont sélectionnées au sein de chacune de ces strates proportionnellement au nombre total d’élèves aussi bien en 2ème année qu’en 5ème année.

Analyse des données

Dans le cadre de la théorie classique du score vrai10, il est d’usage de prendre en considération deux caractéristiques des items : le niveau moyen de difficulté et la discrimination, aussi appelée « corrélation bisériale de points ».

Le PASEC, dans le cadre des évaluations de 2011-2012, a crée un modèle de réponse à l’item, à un paramètre, communément appelé « modèle de Rasch 11 ». Le modèle de réponse à l’item se base sur le postulat que la courbe caractéristique de l’item dépend :

  1. de la compétence de l’élève (plus l’élève est compétent, plus la probabilité de réussir l’item sera élevée, et inversement);
  2. de la difficulté de l’item (plus l’item est facile, plus la probabilité de le réussir sera élevée). Les modèles de réponse à l’item, notamment le modèle de Rasch, créent un continuum sur lequel seront localisées à la fois les performances des élèves et la difficulté de l’item, liées entre elles par une fonction probabiliste.

Résultats

Retrouvez toutes nos publications correspondants à la Méthodologie 2011-2012