Présentation des statistiques (Présentation IREM du 6 juin 2018)

  1. LES RÉSULTATS DANS L’APPRENTISSAGE DES ÉLÈVES

    1. DISPOSITIF COMPLET

      Le dispositif complet comporte l’ensemble des ressources comprenant le programme officiel, l’outil d’évaluation PROFIL, des exercices de remédiation et des autocorrections. Ces conditions ont été appliquées à deux classes de seconde.

 

CLASSE

2A

2B

OPTION

ICN

SS

EDT

Mercredi de 7h30 à 10h30

Lundi de 7h30 à 10h30

EFFECTIFS

7 filles ; 27 garçons

28 filles ; 4 garçons

ÉVALUATIONS

T1 : 4 évaluations, dont 2 autocorrections

T2 : 2 évaluations, dont 1 autocorrection

T3 : 4 évaluations, dont 1 autocorrection

T1 : 4 évaluations, dont 2 autocorrections

T2 : 3 évaluations, dont 1 autocorrection

T3 : 2 évaluations, dont 1 autocorrection

MOYENNES /20

 

Δ : (Tf-Ti)/Ti (%)

σ : écart-type (%)

T1 : 12,85

T2 : 14,00

Δ = + 8,9 %

σ = 19,6 %

T2 : 14,00

T3 : 13,49

Δ = - 3,6 %

σ = 13,4 %

 

AN : 13,43

Δ = + 5,0 %

σ = 19,9 %

T1 : 11,61

T2 : 12,24

Δ = + 1,4 %

σ = 29,5 %

T2 : 12,24

T3 : 12,68

Δ = + 3,6 %

σ = 17,8 %

 

AN : 11,80

Δ = + 9,2 %

σ = 26,9 %

Remarques utiles

Quelques garçons initialement dans une apparente opposition dont certains se sont fortement impliqués depuis.

Le choix de l’option ICN et l’utilisation spontanée du POP en classe confirment l’intérêt pour l’outil informatique.

Effectif stable.

Annonce initiale du choix de classe pilote du projet.

Quelques filles initialement dans une apparente opposition semblent enfin tirer profit du dispositif vers la fin du 2e trimestre.

Également en charge de l’EdEX « sanitaire et social », la classe surtout composée de filles ne montre ni réticence ni appétence particulière pour l’outil informatique.

Effectif un peu instable.

 

Les différences entre ces deux classes, nombreuses et marquées, rendent leur comparaison délicate à interpréter. Le biais lié à la différence d’évaluations peut être signalé.

Voyons ce qu’il en ressort des graphiques voulus synthétiques de l’évolution des maîtrises dans les différents domaines et des moyennes de ces deux classes.

Ces deux graphiques sont obtenus à partir du traitement des moyennes trimestrielles globales (GLOBAL) et par domaine de savoirs (connaître, raisonner, réaliser, communiquer, se comporter). Difficilement quantifiable, l’élévation progressive du niveau d’exigence pourra être prise en compte.

Scores trimestriels sur les 5 domaines distinct et réunis de la 2A

Évolution des scores de T1 à T2, T2 à T3, de la 2A

Tableau des scores et évolutions de la 2A

Scores trimestriels dans les 5 domaines distincts et réunis de la 2B

Évolution des scores de T1 à T2 (à gauche), puis de T2 à T3 (à droite) de la 2B

Tableau des valeurs chiffrées pour la classe 2B

Évolution des scores de T1 à T3 pour la 2A

Évolution des scores de T1 à T3 pour la 2B

Interprétations de la lecture des scores et de leurs évolutions comparées entre la 2A et la 2B

Interprétations de la lecture comparée des graphiques :

 

    • La moyenne globale a varié positivement du premier au troisième trimestre. Sans repère objectif, cela ne peut être interprété.

    • Un effet de balancier est souvent constaté à l’intérieur d’un domaine et laisse envisager la prise en compte effective des évaluations par certains élèves pour améliorer leurs scores. Ainsi une hausse peut être suivie d’une baisse comme une baisse notable peut être suivie d’un progrès. Cela mérite d’être signalé car l’histogramme de l’évolution annuelle a tendance à masquer ces variations.

    • Après une hausse des scores trimestriels du premier au deuxième trimestre dans le domaine « connaître », une baisse est constatée du deuxième au troisième. Cela peut s’interpréter immédiatement comme un changement de stratégie du plus grand nombre.

      À l’appui de cette conjecture, certains propos d’élève tenus au deuxième trimestre laissaient entendre que leurs efforts portaient en proportions variables selon leurs préférences sur la leçon écrite ou sur les exercices de remédiation en ligne.

    • Tous les graphes des moyennes annuelles dans chaque domaine ont un aspect en V avec un minimum dans le domaine « raisonner ». À défaut de pouvoir se référer à un enseignement spécifique du raisonnement, sans perdre de vue la dépendance de sa mise en forme et de son évaluation à la maîtrise de l’expression, on admettra un déficit initial remarquable et généralisé dans sa maîtrise attendue pour l’expliquer.

      Par ailleurs, tous les scores trimestriels sont en baisse sur l’année dans le domaine « raisonner ». Cela confirme avant tout leur maîtrise globalement précaire des capacités de raisonnement déjà déduite de la forme en V de l’histogramme des moyennes annuelles. La baisse pourrait alors être associée à une augmentation de l’exigence des attendus, mais aussi à des changements de stratégie.

      Les deux classes de seconde montrent là des scenarii différents : la 2de ICN, moins pénalisée que la 2de SS sur la période T1 → T2, montre une petite baisse sur la période T2 → T3 ; à l’opposé de la 2de SS qui, après sa baisse sur la période T1 → T2, s’est ressaisie sur la période T2 → T3. Si cette lecture est correcte, cela confirme l’appropriation des retours de leurs évaluations par les élèves.

    • Une hausse aussi notable dans le domaine « réaliser » pour les deux classes révèle sans ambiguïté le fait que les élèves ont davantage tenté de satisfaire aux consignes au fil des trimestres, donc se sont aussi plus exposés à l’évaluation dans les autres domaines hormis « se comporter ». Cette remarque est sans doute ce qui explique l’apparente baisse dans ces autres domaines, notamment « connaître » et « raisonner », mais également dans une moindre mesure « communiquer ». Cette implication grandissante est également conforme avec l’augmentation dans « se comporter » observée dans celle des deux classes initialement la moins à l’aise.

    • Enfin l’impression positive de bénéfice tiré par les élèves du dispositif incluant PROFIL est confirmée par la tendance globale positive pour les deux classes.

 

2. DISPOSITIF RESTREINT

DISPOSITIF RESTREINT

En l’absence de salles informatisées pour accueillir une classe entière ou ne disposant pas des banques d’exercices appropriées, le dispositif restreint ne comporte que la partie des ressources comprenant le programme officiel, l’outil d’évaluation PROFIL et des autocorrections. Ces conditions ont été appliquées à des classes de première ES et L.

 

Scores trimestriels dans les 5 domaines distincts et réunis de la 1A

Évolution des scores de T1 à T2 (à gauche), puis de T2 à T3 (à droite) pour la classe 1A

Évolution des scores de T1 à T3 pour la 1A

Scores trimestriels dans les 5 domaines distincts et réunis de la 1B

Évolutions des scores de T1 à T2 (à gauche), puis de T2 à T3 (à droite) pour la 1B

Évolution des scores de T1 à T3 pour la classe 1B

Scores trimestriels dans les 5 domaines distincts et réunis de la 1C

Évolutions des scores de T1 à T2 (à gauche), puis de T2 à T3 (à droite) de la 1C

Évolution des scores de T1 à T3 pour la 1C

Scores trimestriels dans les 5 domaines disctincts et réunis pour la 1D

Évolutions des scores de T1 à T2 (à gauche), puis de T2 à T3 (à droite) pour la 1D

Évolution des scores de T1 à T3 pour la 1D

Interprétations de la lecture comparée des graphiques en fin de 2e trimestre :

L’évolution globale de la maîtrise des savoirs apparaît négative pour trois 1ere (1A, 1C et 1D) sur les quatre 1ere ES ou L. Pourtant l’appréciation experte de l’évaluateur est incontestablement un progrès pour au moins trois des quatre en question.

La baisse dans toutes les classes des scores obtenus dans le domaine « réaliser » peut l’expliquer en révélant une augmentation de la proportion d’éléments de consigne restés sans réponse. Deux conjectures non exclusives peuvent en être cause : l’élévation de la difficulté des tâches à réaliser et une stratégie (périlleuse car jamais garantie) de report à la correction dans l’espoir d’une correction évaluée.

Notons en passant que, s’agissant de classes soumises à l’épreuve anticipée de sciences en fin d’année, le niveau des attendus est passé d’un compromis tactique au premier trimestre aux exigences de l’examen au deuxième trimestre.

Ce dernier constat oblige à préciser que les évaluations dans les différentes classes de 1ere ES et L ont porté sur des sujets aux contenus et attendus de niveaux différents, notamment afin de prévenir les stratégies de contournement dont ces classes se sont montrées plus ou moins adeptes dès le début. Et le choix de commencer l’année par des évaluations plus faciles pour la 1C et la 1D jugées plus faibles semble n’avoir pas été efficace, et peut-être même contre-productive. Car ce sont de fait les classes 1A et 1B, qui ont été soumises aux séries d’évaluations de niveaux les plus homogènes qui présentent les meilleures évolutions. Voilà une interrogation déjà ancienne qui trouve enfin sa réponse grâce aux productions graphiques de l’outil PROFIL. En cela un de ses objectifs à destination de l’enseignant est atteint : l’aide à la décision.

Une analyse plus objective pourra donc être faite sur les évaluations du troisième trimestre puisqu’elles seront obligatoirement alignées sur un même niveau d’exigence imposé par la proximité de l’épreuve anticipée du bac.

À ce stade, une réelle inquiétude s’est faite sentir en attendant une appréciation plus objective avec l’évaluation du bac blanc. Car rappelons que le dispositif allégé ne proposait pas d’exercices de remédiation, ce qui privait l’élève d’une facilité qui pouvait lui être très utile, même en 1ere. Les contingences matérielles à l’origine de cet empêchement restent malgré tout surmontables, qu’il s’agisse de l’accès à une salle informatisée pouvant accueillir une classe entière, ou de la mise en ligne d’activités ciblées couvrant les programmes. Cependant cette dernière demandera de trop nombreuses heures de travail pour un seul enseignant. Un travail collectif est à envisager.

 

Interprétations de la lecture comparée des graphiques en fin de 3e trimestre :

 

Afin de disposer d’un point fixe commun à toutes les classes de 1 ES et L soumis au même programme et au même dispositif allégé, l’évaluation au troisième trimestre a été normalisée et opérée suivant des critères rigoureusement identiques :

      • elle porte sur une seule composition réalisée dans les conditions de l’épreuve anticipée de Sciences (3 parties en 1h30) ;

      • le sujet est commun aux quatre classes ;

      • la partie I (commentaire rédigé) sur 8 points sur 20 et commune aux SVT et à la physique-chimie, a été intégralement conçue et rédigée par une collègue de physique sans ingérence ni interférence de ma part. Cette partie I nécessite la mise en œuvre par les candidats du plus large éventail de savoirs, à savoir « connaître », « raisonner », « réaliser » et « communiquer » ;

      • la partie III, ici un QCM sur 6 points sur 20 et propre aux SVT, a été tirée d’une annale de bac portant sur la dernière partie du programme alors en cours d’achèvement, à savoir « Féminin, masculin », et faisait appel aux techniques de saisie des informations dans des documents, accessoirement aux connaissances. Ainsi le sujet de bac blanc a pu porter sur trois parties du programme comme l’épreuve réelle.

      • la partie I sur 8 a été évaluée suivant deux procédés pour les classes 1A et 1B :

        • à partir d’un barème traditionnel (colonne « TRADI »)

        • suivant l’algorithme de PROFIL (colonne « PROFIL »)

          Les chiffrages obtenus sont regroupés dans le tableau ci-dessous, la différence PROFIL – TRADI est affichée dans la colonne Δ.

 

MOYENNE

4,9

4,91

0,02

MOYENNE

5,58

4,63

-0,95

ÉCART-TYPE

1,37

1,24

1,32

ÉCART-TYPE

1,22

1,09

1,28

classe 1A

TRADI

PROFIL

Δ

classe 1B

TRADI

PROFIL

Δ

n° élève

sur 8

sur 8

sur 8

n° élève

sur 8

sur 8

sur 8

1

4,5

4,5

0

1

4

4

0

2

6

6

0

2

6,5

7

0,5

3

3

3,5

0,5

3

5,5

5

-0,5

4

3

4,5

1,5

4

6

5,5

-0,5

5

5

4

-1

5

3

4

1

6

4

4,5

0,5

6

6

7,5

1,5

7

3,5

3

-0,5

7

3,5

4,5

1

8

5,5

5

-0,5

8

7,5

4

-3,5

9

4,5

5,5

1

9

4

3

-1

10

6,5

3,5

-3

10

5

5

0

11

2,5

2,5

0

11

6,5

4,5

-2

12

3,5

6

2,5

12

4,5

3,5

-1

13

4,5

3,5

-1

13

7

4,5

-2,5

14

6,5

5

-1,5

14

5

4

-1

15

5,5

4,5

-1

15

6

5,5

-0,5

16

6

5

-1

16

4

4

0

17

7,5

7

-0,5

17

5,5

5

-0,5

18

6,5

5

-1,5

18

4,5

3,5

-1

19

4

5

1

19

4,5

3,5

-1

20

4

4

0

20

5,5

5,5

0

21

5

5

0

21

6,5

3,5

-3

22

3,5

6,5

3

22

4,5

4

-0,5

23

6,5

6,5

0

23

6,5

4

-2,5

24

5

6

1

24

5

3,5

-1,5

25

6

6,5

0,5

25

6,5

5

-1,5

26

5

3

-2

26

5

5

0

27

3,5

4,5

1

27

6,5

4

-2,5

28

7,5

7

-0,5

28

7

3,5

-3,5

29

4

6

2

29

6,5

5

-1,5

 

 

 

 

30

5,5

5,5

0

 

 

 

 

31

7,5

5

-2,5

 

 

 

 

32

7,5

7

-0,5

 

De la comparaison des différences moyennes et de leurs écarts-types, on déduit que PROFIL produit un chiffrage cohérent avec un barème traditionnel sans surévaluation pour l’une ou l’autre classe.

 

Quelques informations utiles avant de faire la lecture et l’interprétation des histogrammes.

 

  • D’abord, comme évoqué plus haut, les approches pédagogiques ont différé entre le groupe de classes 1A et 1B, et le groupe de classes 1C et 1D, les premières ayant été plus rapidement confrontées aux exigences du niveau réel attendu dans la perspective des épreuves anticipées de sciences, les secondes y ayant été amenées avec plus de ménagement.

  • Afin de ne pas introduire de biais lié à la différence de correcteur, les résultats présentés reposent sur des évaluations refaites si nécessaire.

 

ANALYSE DES POINTS COMMUNS AUX QUATRE CLASSES

 

  1. Les évolutions semestrielles des quatre classes montrent une baisse dans « réaliser » du premier au deuxième trimestre. Rappelons que deux conjectures non exclusives peuvent en être cause : l’élévation de la difficulté des tâches à réaliser et une stratégie (périlleuse car jamais garantie) de report à la correction dans l’espoir de son évaluation. Or le groupe 1A/1B a été confronté à l’exigence maximale dès le premier trimestre. Il s’agirait donc bien d’une stratégie utilisée par le plus grand nombre, peut-être en réponse à la mise en œuvre de l’évaluation de la correction.

  2. Les évolutions semestrielles des quatre classes montrent une hausse dans tous les domaines, y compris « se comporter », du deuxième au troisième trimestre. Or l’évaluation au troisième trimestre, un bac blanc rigoureusement le même pour tous et conçue entièrement sans mon intervention, peut être considérée comme référente fiable du niveau de maîtrise attendu. Ce résultat constitue en cela une confirmation de l’acquisition d’une meilleure maîtrise des savoirs dans les quatre classes.

    Remarque : La réserve émise à l’issue du deuxième trimestre sur la pertinence de démarrer l’année sur une exigence plus progressive avec les classes perçues comme plus faibles perd ici de sa justification. Les résultats à l’épreuve réelle permettront peut-être de trancher.

 

ANALYSE DES DIFFÉRENCES ENTRE LES CLASSES :

 

  1. Les classes peuvent être ordonnées selon le signe positif ou négatif de leur évolution annuelle « GLOBAL » : 1A et 1B positifs, 1C et 1D négatifs. Ceci peut être mis en parallèle avec un démarrage des évaluations sur une exigence plus forte pour le groupe 1A/1B et plus progressif pour le groupe 1C/1D.

  2. L’accueil de PROFIL par les classes permet également de distinguer deux groupes : 1B et 1D ouvertement hostiles, 1A et 1C indifférentes ou sur la réserve (impossible de préciser). Ce découpage différent du précédent révèle que si PROFIL profite à tous, l’hostilité n’aura pu agir comme exhausteur que pour la 1B, sinon à l’inverse pour la 1D.

 

IV. LES POSSIBILITÉS ET LES LIMITES TECHNIQUES DE L’OUTIL PROFIL

    • La version actuelle de PROFIL résulte d’une évolution perpétuelle depuis l’origine, parfois ponctuée d’une refonte complète, pour en simplifier l’architecture et le rendre plus fiable, puis pour l’adapter à des exigences nouvelles, enfin pour limiter l’augmentation des temps de calcul liée à l’accroissement des volumes de données traitées et le maintenir opérationnel.

    • La liste des domaines de savoirs et de procédures est actuellement limitée à un maximum de 20, et la synchronisation de la grille de PROFIL avec une autre grille de compétences est réduite à une seule. Il est techniquement possible d’affiner la procédure de synchronisation suivant l’algorithme en cours et d’augmenter le nombre de grilles synchronisées simultanément.

    • Tout PROFIL est constitué de fichiers du tableur de LibreOffice organisés dans une arborescence. Un exécutable pour automatiser la création de cette structure de fichiers est prévu.

    • Les syntaxes différentes employées par les tableurs LibreOffice.calc et Excel empêchent l’exportation en l’état de PROFIL sous Excel. Une version sous Excel est envisagée.

 

V. CONCLUSION

    • Sous réserve que cette analyse soit confirmée dans sa sincérité et sa validité par des pairs ou des experts, elle conclut à une validation du principe et est confortée par des propos d’élèves loquaces ou des progressions patentes pour d’autres plus taiseux.

    • La comparaison des scores chiffrés sur des parties communes évaluées par deux correcteurs confirme la rigueur et la neutralité de l’évaluation, ainsi que sa conformité avec les chiffrages par des évaluations traditionnelles. La confrontation aux scores chiffrés des élèves candidats aux épreuves du baccalauréat vaudra verdict final.

    • Enfin, le contrôle retrouvé sur la sincérité des évaluations, la visibilité nouvelle sur l’efficacité de mon enseignement et les possibilités offertes de différenciation pédagogique font que plutôt que de renoncer à cet outil, je conçois surtout de l’améliorer.