Analyse des évaluations
Cette analyse permet d'examiner les évaluations faites sur les
exemples, comme sur celles effectuées durant la phase
d'évaluation par les pairs. Elle tente de
sélectionner les meilleures parmi les évaluations
d'étudiants et d'enseignants. Ces
« bonnes » évaluations sont alors
utilisées dans le calcul de la note finale.
L'analyse est meilleure si les évaluations de
l'enseignant sont disponibles. Ces évaluations peuvent
servir de références par rapport auxquelles celles
des étudiants peuvent être jugées.
L'enseignant n'a pas besoin d'évaluer chaque
exemple et chaque travail, mais pour que l'analyse soit
significative, il est mieux d'avoir de la part de l'enseignant
plus d'évaluations celles faites par la moyenne des
étudiants. Plus il y a d'évaluations faites par
l'enseignant, plus les résultats de l'analyse seront
fiables.
L'analyse se fait habituellement à plusieurs reprises,
en changeant à chaque fois une ou plusieurs options.
L'analyse est contrôlée par trois options
apparaissant en haut de la page.
- L'option « Coefficient des
évaluations de l'enseignant » permet de
fixer le poids des évaluations faites par l'enseignant en
comparaison avec celles des étudiants, lors de la phase
d'analyse d'erreurs. Si l'enseignant désire que sa propre
stratégie d'évaluation domine celles des
étudiants, alors il devrait être parmi tous ceux qui
ont donné des notes celui ayant l'erreur moyenne la plus
faible dans la « Table d'erreurs ». Si
l'enseignant n'est pas en tête de liste, on augmente
prgressivement le coefficient de ses
évaluations jusqu'à ce qu'il ait la plus petite
erreur moyenne. En conséquence, les
évaluations de l'enseignant sont dominantes et celles des
étudiants qui évaluent comme lui se retrouvent
aussi dans la partie supérieure de la liste de la Table
d'erreurs. Les étudiants situés au bas de la liste
sont ceux qui évaluent d'une façon
différente de celle de l'enseignant (ou de celle des
étudiants du haut de la liste).
Plus l'enseignant a effectué d'évaluations,
moins l'on aura besoin d'utiliser cette option pour forcer
l'enseignant à apparaître au haut de la liste. Il
est à noter que cette option n'applique pas un
coefficient aux évaluations de l'enseignant lors du calcul
des notes finales. Dans ce calcul, les évaluations de
l'enseignant ont le même poids que celles des
étudiants. Ainsi par exemple, si un travail
d'étudiant est noté 41% par l'enseignant et 45% et
55% par ses pairs, la note finale de ce travail sera de (41% +
45% + 55%) / 3, c'est-à-dire 47%.
- L'option « Coefficient de la performance
d'évaluation » est utilisée dans
le calcul de la note finale. Pour calculer la
« performance d'évaluation » d'un
étudiant, une formule simple est utilisée :
c'est le rapport entre le nombre des
« bonnes » évaluations d'un
étudiant et le nombre maximum de celles qu'il peut
effectuer. Si par exemple la consigne demande aux
étudiants d'évaluer 3 travaux d'exemples et 5
travaux de pairs, et que l'étudiant évalue au total
7 travaux et qu'une évaluation parmi celles-ci est
rejetée lors de l'analyse (voir ci-dessous), sa
performance d'évaluation est alors de (7 - 1)/8,
c'est-à-dire 75%. La note finale d'un étudiant est
une moyenne pondérée de sa performace
d'évaluation et de la note de son propre
travail (ou du meilleur, s'il a rendu plusieurs travaux). Le
coefficient de la note du travail est toujours 1. Donc si vous
choisissez de régler cette option sur 0.5, cela signifie
que la performance d'évaluation aura pour la note finale
la moitié de la valeur de la note du travail.
- L'option « Nombre d'évaluations à
rejeter » détermine le nombre des
évaluations à rejeter lors du calcul des notes
finales. Ce nombre peut être fixé de deux
façons.
- Selon la façon dont la performance
d'évaluation est calculée et si aucune
évaluation n'est rejetée, chaque étudiant
pourrait obtenir la note maximale en évaluant
tous les travaux qui lui sont soumis. Si l'enseignant
désire avoir une moyenne plus raisonnable, il peut, en
réglant par exemple cette option à 30%, faire en
sorte que la moyenne des performances d'évaluation soit
d'environ 70% (pour autant bien sûr que tous les
étudiants aient évalué tous les travaux qui
leur étaient soumis).
- Autrement, le nombre d'évaluations à rejeter
peut être fixé de telle manière que les
Erreurs moyennes (quatrième colonne de la Table d'erreurs)
des « bonnes » évaluations restantes
demeurent en deçà d'une valeur raisonnable. Par
exemple, on pourrait penser que toutes les évaluations des
étudiants devraient se situer (en moyenne) dans un
intervalle de 20%. Dans ce cas, l'analyse est
répétée en ajustant à chaque fois le
nombre d'évaluations à rejeter, jusqu'à ce
que les valeurs de cette colonne soient dans cette limite.
En plus de la Table d'erreur, l'analyse énumère
les notes de toutes les évaluations et les notes finales
données aux étudiants. Cette table devrait
être examinée pour s'assurer que les
résultats sont raisonnables. En particulier si un grand
nombre d'évaluations sont rejetées, certains
travaux pourraient restés sans évaluation et la
note finale de l'étudiant beaucoup trop basse. L'analyse
affiche le nombre de travaux remis au haut de la page et
également juste avant le « Tableau des
notes ». Ces deux nombres devraient être
égaux. S'il y a un ou plusieurs travaux sans
évaluation et que l'enseignant ne veut pas diminuer le
nombre d'évaluations à rejeter, ces travaux doivent
alors être évalués par l'enseignant et
l'analyse répétée. Il est essentiel que tous
les travaux remis soient évalués au moins une fois
lors de la dernière phase de l'analyse,
c'est-à-dire lorsque les notes finales sont
calculées.
Il existe un équilibre entre le nombre
d'évaluations rejetées et les notes finales. Plus
il y a d'évaluations rejetées, et plus les notes
finales risqueront d'être basses. Cependant, si les
évaluations médiocres ne sont pas
rejetées, les étudiants pourraient se plaindre de
la qualité des évaluations qui leur sont
données et qui comptent dans la note finale de leur
travail. Si l'enseignant a fait suffisamment d'évaluations
de façon à dominer l'analyse pas trop
artificiellement, une valeur raisonnable du pourcentage
d'évaluations à rejeter se situe entre 15% et
30%.
Il est à remarquer que cette analyse prend du temps,
car elle comprend un processus itératif. De longs
délais sont donc à prévoir.