Personalised Open Education for the Masses (POEM)

Réunions de travail

4 juillet 2013 : Julie, Paul, Aline, Raaj, Pierre P, Alain Bolli, Pierre C

Specifications for POEM

La plateforme EdX est la base de travail

• Télécharger la plateforme EdX et l'utiliser en local pour implémenter les POEM.
• Comment elle est construite.
• Comment ajouter les hommilières dessus.

Hackathon FUN POEM_P3E

Taxonomie

• ECTS européen : 10h d'enseignement par ECTS
• 60 ECTS dans un cursus
• Un cours peut faire de 3 à 6 ECTS (donc 30 à 60 heures enseignées)
• Un cours peut être décomposé en leçons (qui vont de 2 à 3h de cours)
• Une leçon peut être composée de plusieurs items pédagogique (PI Pedagogical Item) (grain le plus fin)

Interfaces utilisateur

• Interface pédagogique
  • Possibilité de créer un nouveau cursus, un nouveau cours, une nouvelle leçon, un nouveau PI.

• Interface étudiant POEM
  • Donner la possibilité de visualiser une carte de la connaissance (pour trouver un objectif pédagogique)
  • Visualiser les trajectoires existantes de l'hommilière

• Cartes de la connaissance
  • Visualiser la carte globale
  • Visualiser les cours disponibles sur la carte globale
  • Établir une carte de connaissances à partir du graphe des cours de l'Université de Strasbourg

Déroulement d'une session POEM

Validation d'un Item Pédagogique qui est accessible par un plugin moodle (pour les étudiants UNISTRA) ou un plugin EdX (pour les autres).

Contenu du plugin PI (Item Pédagogique). On considère dans un premier temps que le niveau ELO est un bon résumé du passé de l'étudiant, au sens des statisticiens) :

• Regarder une Ressource : vidéo / télécharger un document pdf qui contient un cours / module d'évaluation / aller sur un lien (interopérabilité avec Étoile), ...
• Répondre à 3 questions d'évaluation (QE) choisies dans une base de questions : 2 questions validées par l'équipe pédagogique et une nouvelle question proposée par un autre étudiant. Le choix des questions est effectué sur deux modes (suivant la dynamique du système) :
  • Une seule question tant que l'évaluation peer-to-peer n'est pas suffisamment réactive, choisie parmi les questions d'après le niveau ELO de la question pour une réussite à 50/50%. Possibilité de demander une autre question à 50% si on sèche sur la question. S'il n'y a plus de question à 50%, on descend.
  • Lorsque l'évaluation peer-to-peer intervient "immédiatement" (par évaluation automatique (Guy Denhière) sur corpus (Jean-Philippe Cointet) + lexique mental) : possibilité de remédiation. Dans les couples de questions (première question et rattrapage) centrés sur le niveau ELO du participant. On choisit le couple avec le plus grand écart type et on pose la question difficile. Si échec : possibilité de remettre en cause l'évaluation automatique en demandant une évaluation peer-to-peer (puis inter-tutorale puis vers équipe pédagogique) et on pose la question facile. Cette stratégie permet de maximiser la progression du participant.
• Évaluer la qualité / l'intérêt / la pertinence de chacune de ces 3 questions (QE) (de 0 (nul) à 5 (pertinent)) sachant qu'il y a 10 points à partager sur les 3 questions.
• Demander au participant de créer une (ou plusieurs) nouvelle question participative (QP) avec réponse optionnelle (RP).
• Évaluer 9 réponses à des questions (QR) qui ont été posées à d'autres étudiants
• Finalisation du PI : l'hommilière propose d'autres PIs pour poursuivre le cursus
• Finalisation d'une leçon par un questionnaire sans remédiation derrière chaque question

Toutes les 30s, le plugin fait des sauvegardes périodiques (en cas de perte de connexion ?) avant validation ?

Évaluation d'un participant

Deux critères : ELO et qualité de participation

Critères de qualité de participation

2 critères : Laraki (Agrégation de Choix Collectifs) et ELO (martingale classique : variation en racine de n des variations entre la courbe des hauts et des bas). En Elo, on obtient racine de n si le coefficient K = 1/n (n le nombre d'exemples).

• Inter-tutorat (engagement fort)
  • à niveau différent
  • entre participants de même niveau
• Questions posées
  • Nombre de questions posées
  • Nombre d'utilisations de la question (une fois la question validée)
  • Retour des autres étudiants sur la qualité des questions posées : Agrégation de choix collectifs (ACC LARAKI) et retour sur la qualité dans la note de participation. Si c'est bimodal : envoi aux tuteurs pour évaluation et Laraki. Si c'est encore bimodal au niveau des tuteurs, on demande aux profs. Si c'est encore bimodal, la question est supprimée.
  • Évaluation des questions proposées : plus la question est posée, plus la question ramène des points à celui qui l'a posée (droits d'auteur). La variation de niveau ELO de la question va déterminer la prédiction du temps d'arrêt. Si la question était bien ciblée, elle aura un niveau ELO correspondant au niveau ELO moyen des participants et survivra longtemps.
  • Pour la validation d'une question par l'équipe pédagogique : préparer une applet qui propose la courbe de la pertinence de la question par classe de niveau ELO (et histogramme des niveaux ELO)
  • Création d'un doodle pour l'équipe enseignante pour valider les questions (avec échelle de pertinence pour chacun des enseignants). Ou système d'agrégation de choix collectifs (ACC).
  • Mesure de la qualité du travail d'évaluation :
    • psycho-physique à partir de l'interface (dynamique de frappe, webcam, ...)
    • Enlever des points si on détecte qu'un participant avec un bon niveau ELO et une bonne attention évalue mal les réponses des autres (manque de corrélation entre l'évaluation des réponses et le niveau ELO de ceux qui ont répondu). Il faut 3 niveaux ELO : le niveau ELO de l'évaluateur, de la question et de l'évalué (étude à faire).

Niveau ELO

Graphe bipartite comportant 2 populations : les PIs (et leurs questions) et les participants.

Cf : http://fr.wikipedia.org/wiki/Classement_Elo

Le niveau élo des PI (et des questions) aura un amortissement qui garantira leur convergence et leur évitera de perdre des points au fur et à mesure que la cohorte s'améliore.

• Problématique de domaines ? (est-il nécessaire de faire différents niveaux ELO pour différents domaines / différents cursus ?)

Description de l'hommilière

L'hommilière interconnecte des PI suivant l'utilisation des participants (en minimisant les échecs et en trouvant des trajectoires optimales).

Une page contenant les PIs disponibles est présentée à l'utilisateur, avec une hiérarchie (cours les plus probables en haut).

L'utilisateur choisit un PI : soit un lien existe déjà entre l'item qu'il vient de valider et le nouvel item, soit il n'y pas encore de lien entre les deux. Dans le deuxième cas, un nouveau lien est créé.

Choix des questions

Si on joue des questions à même niveau ELO : on a 50% de chances de réussir. Il vaut mieux jouer à 1 chance sur 3 de réussir (100 ELO au dessus). Mais on fait ça en ayant en réserve un autre exercice à 100 points ELO en dessous (2 chances sur 3 de réussir) en cas d'échec au premier exercice. Au total, la combinaison donne 50% de chance de valider les 2 questions (homéostasie), sauf qu'on propose d'essayer une question à 100 ELO au dessus au premier tour. C'est typique de l'éducation personnalisée.

Variabilité d'une question

Une même question pourrait être posée différemment suivant le niveau de l'étudiant (c'est ce que fait un précepteur). On pourrait obtenir une variante de la forme de la question en proposant au participant (dont on connaît le niveau ELO) de reformuler la question.

Fonctionnement de l'hommilière

Lorsqu'un utilisateur a finalisé un IP, ses réponses sont analysées et le système détermine si l'IP a été validé ou non. Suivant qu'il s'agit d'un succès ou d'un échec, des phéromones positives ou négatives sont laissées sur les 3 arcs précédents par une propagation inspirée du Bucket Brigade Algorithm.

Les points proviennent de :

• l'évaluation (par les autres participants) de la réponse aux 3 questions QE (15 points potentiels)

Deux notes : Participation et validation de l'acquisition des connaissances.

OpenBadges

• L'ensemble des open badges constitue le profil de l'utilisateur
• La reconstitution du profil d'un utilisateur se fait par l'intermédiaire de son identifiant open-badge.

Des recollements inter-universitaires vont pouvoir se faire par cet intermédiaire.

• A Strasbourg, les étudiants (qui le veulent) ont un portfolio MAHARA (comme Moodle) permettant de mémoriser leur cursus et de collecter leurs open-badges. Ils gardent leur portfolio à vie.

• CNIL

Hackathon

• Objectifs : Monter une plateforme MOOC utilisant EdX ayant pour spécificité :
  • d'indexer un certain nombre de vidéos
  • Possibilité d'ajouter de nouvelles vidéos
  • Modalités d'évaluation (ci-dessus) avec plateforme de Raaj fournie
  • Création d'une carte de connaissance (graphique) à partir de l'arborescence des cours de l'Université de Strasbourg (utiliser les spécifications de Jean-Philippe Cointet (code fourni mais à récrire)
  • Créer et attribuer des OpenBadges
  • Créer un panneau administrateur
  • Créer un panneau utilisateur
  • Faire l'analyse lexicale d'un corpus avec l'outil de Jean-Philippe