Hackathon FUN POEM P3E
Présentation du sujet
Là où des « petits » effectifs (jusqu’à quelques centaines d’étudiants ?) permettent encore aux enseignants de corriger eux-mêmes les copies, les MOOCs peuvent compter jusqu’à 100 000 participants, rendant impossible toute évaluation de la part de l’enseignant ou de l’équipe enseignante. Il est donc essentiel de proposer un moyen d’évaluation automatique. Actuellement, France Université Numérique propose des QCM, mais on pourrait faire beaucoup mieux, en impliquant plus les participants dans le processus d’évaluation. Il s’agit donc d’ajouter à OpenEdX un plugin permettant d’implémenter l’évaluation pair-à-pair participative (P3E) conçue dans le cadre de la plate-forme POEM (Personalised Open Education for the Masses) destinée à terme à être utilisée par les étudiants des 115 universités de l’UniTwin CS-DC de l’UNESCO (http://cs-dc.org). Actuellement le protocole P3E est expérimenté sur des cohortes d’étudiants de l’Université de Strasbourg, où les différences entre l’évaluation par les enseignants et l’évaluation automatique P3E sont mesurées par l’inégalité de Bienaymé-Chebyshev.
Description du projet
L’évaluation P3E nécessite : Une base de contenus pédagogiques (en pratique pour le hackathon, un contenu pédagogique pourra être un lien vers un contenu en ligne). Deux bases de données contenant deux jeux de questions/réponses associées à un contenu pédagogique : 1. Une base archive contenant un jeu de questions validées par l’équipe pédagogique (et leurs réponses). Les questions sont ouvertes ou fermées, mais aussi possiblement des exercices voire des QCM. Leur objectif est d’évaluer ce qu’ont compris les participants ayant suivi le contenu pédagogique proposé. L’archive doit comporter un minimum de 10 questions pour démarrer le processus d’auto-évaluation participatif. L’archive pourra être augmentée si l’équipe pédagogique trouve des questions remarquables dans… 2. … une base réservoir comportant des questions (et réponses) proposées par les participants dans le cadre de l’évaluation participative. Poser des questions sur un contenu est une activité pédagogique riche impliquant le participant : elle nécessite à la fois une compréhension globale des enjeux du cours et une bonne analyse de des problèmes spécifiques exposés dans le cours. Cela impose une implication bien plus grande du participant que ce qui est nécessaire pour simplement répondre à une question (même ouverte) ou un QCM. Une cohorte de participants à un MOOC. Une structure sera fournie par défaut pour chacune des bases de données.
L’évaluation P3E s’effectue en trois étapes : 1. L’apprenant répond à, et évalue trois questions : deux sont choisies au hasard dans l’archive et une choisie par un sélecteur stochastique (choix aléatoire pour le hackathon) dans le réservoir de questions proposées (s’il n’y a pas encore de questions dans le réservoir, une question de l’archive sera utilisée). Ce principe est inspiré des re-captchas. Après avoir répondu à la question dans une zone de texte, on demande à l’apprenant d’évaluer la pertinence/qualité de la question en la notant de 0 à 5, avec la contrainte de répartir exactement 10 points sur les 3 questions. Comme 10 n’est pas divisible par 3, cela force l’apprenant à s’impliquer en l’empêchant de mettre la même note à toutes les questions. L’évaluation de la pertinence des questions permet d’évaluer la qualité de la participation de l’étudiant ayant proposé la question du réservoir. Si les trois questions sont bonnes, le participant mettra 3 3 4 (par exemple) et toutes les questions auront plus de la moyenne, (avec un avantage à la meilleure question du lot). Si les trois questions sont mauvaises… en fait, ceci n’est pas possible car au moins deux questions proviennent de l’archive. Si une question est très mauvaise au point où il est impossible d’y répondre (question mal posée), l’étudiant lui donne 0 et une nouvelle question lui est alors proposée parmi l’archive. Mais cette possibilité ne lui sera donnée qu’une seule fois. S’il met 0 à nouveau à une question, le nombre de points qu’il pourra distribuer passera à 7. L’apprenant ne sera pas évalué sur une question notée 0. Après avoir répondu aux trois questions, les réponses correspondantes sont montrées aux participants qui devront là aussi noter leur pertinence et leur qualité de la même manière que pour les questions proposées. L’obtention d’un 0 sera pénalisante pour l’apprenant ayant proposé le couple question/réponse, ce qui les motivera pour faire des propositions de questions / réponses sérieuses. Une case à cocher est aussi proposée pour permettre à l’apprenant de signaler que le contenu sémantique de deux questions posées est très proche. Si les questions de l’archive (validées par l’équipe pédagogique) sont toutes bien distinctes, on pourra en conclure que sur les deux questions signalées comme trop proches, l’une provient d’un participant (base réservoir). On notera pour cette question du réservoir la proximité détectée avec la question de l’archive, avec pour conséquence qu’on ne posera pas à l’avenir ces deux questions dans un même jeu de 3 questions. Dans le cas où l’apprenant a signalé deux questions proches, on piochera une autre question dans l’archive pour laisser au participant la possibilité d’évaluer la question du réservoir en provenance d’un autre apprenant. 2. L’apprenant pose à son tour une question sur le contenu pédagogique et propose une réponse. La question est ajoutée au réservoir de questions non validées par l’équipe enseignante et pourra faire partie des trois questions posées à un autre apprenant. La question posée par l’apprenant doit tester la compréhension et demander une réflexion sur les points les plus importants du contenu pédagogique. Cette démarche est en elle-même d’une forte valeur pédagogique, car on ne peut poser de question pertinente sans avoir compris le contenu du cours, sachant que la pertinence de la question posée sera évaluée par les autres participants dans l’étape 1. Si la question ou sa réponse obtiennent un 0, la question amènera une pénalité particulière (paramétrable par l’équipe enseignante). 3. L’apprenant évalue 9 réponses provenant d’autres apprenants. L’évaluation de la qualité scientifique d’un article se fait par une procédure d’évaluation en double aveugle requérant l’évaluation de trois relecteurs de même niveau scientifique que l’auteur de l’article soumis. Ce protocole largement accepté pour établir l’état de l’art mondial en sciences est repris pour l’évaluation pair à pair entre apprenants. Si chaque réponse proposée en étape 1 doit être évaluée par trois autres apprenants, trois réponses nécessitent 9 évaluations au total. On demande donc dans cette étape à l’apprenant d’évaluer les réponses de 9 autres participants. Si, dans la phase d’amorçage du système, il n’y a pas assez de réponses pour demander 9 évaluations à un participant, celui-ci devra revenir plus tard sur la plate-forme pour terminer sa troisième étape d’évaluation du contenu pédagogique. Tout comme dans l’étape 1, on propose à l’apprenant évaluateur de noter sur 5 les 9 réponses provenant d’autres apprenants avec exactement 30 points à distribuer. Ainsi, on évite que les participants se donnent tous une valeur maximale de 5, ce qui invaliderait le système de notation automatique. 30/9 = 3,33… ce qui est donc la moyenne générale du groupe (qui ramenée sur 20, correspond à 13,33, ce qui est une moyenne honorable). Comme 30 n’est pas divisible par 9, l’apprenant évaluateur doit ici aussi faire un choix et l’équipe pédagogique pourra décider de donner des points de bonus aux apprenants qui auront le mieux évalué leurs collègues, en rapprochant les notes données des notes obtenues par les participants notés (réglages paramétrables). Si un participant n’a donné que des 3 et des 4, il n’aura clairement pas pris position et n’aura pas fait son travail d’évaluateur correctement. Mais il ne s’agit pas d’encourager l’apprenant évaluateur à augmenter l’écart-type de sa notation au détriment de la justesse de l’évaluation : on pourra corréler les notes données au niveau final obtenu par les participants notés. Ainsi, une absence de corrélation entre le niveau final des participants noté et les notes données par un apprenant évaluateur pourront indiquer que ce dernier n’a pas fait preuve de sérieux dans sa mission d’évaluateur. Des points de pénalité (paramétrables) seront appliqués.