Publication

bibliothèque
forme3
femme dans une bibliothèque

Learning Analytics

La discipline de « Learning Analytics » consiste en l’analyse des données issues de systèmes d’apprentissage, en particulier de l’apprentissage en ligne (e-Learning), dans le but de comprendre le lien entre les comportements des apprenants et leur performance d’apprentissage. Ainsi la plupart des plateformes de MOOCs enregistrent toutes les activités des apprenants pour créer de gigantesques bases de données.

Ensuite des techniques d’analyse automatique du type « deep learning » cherchent à identifier des corrélations entre le comportement de l’apprenant et la qualité de son apprentissage [2]. L’espoir est que la corrélation de la grande quantité de variables récoltées permette de faire émerger un modèle prédictif de la qualité de l’acquisition de connaissances. Cependant la difficulté est d’arriver à interpréter les corrélations ainsi obtenues [2]. Quand on sait que la durée de concentration moyenne des apprenants sur une vidéo de formation est de 6 minutes environ [3], quelle fiabilité peut-on espérer des mesures de comportement au-delà de cette période ? Par ailleurs, tous les enseignants savent que l’élément le plus important dans la détermination de l’acquisition de connaissances par un apprenant sont ses connaissances préalables [4]. Comment dès lors prendre en compte cette variable essentielle dans des modèles de corrélations ? S’il est raisonnable de penser que la détermination de cette variable soit possible dans le cas de formations scolaires voire universitaires, où la formation préalable des apprenants est assez bien connue et mesurée, il en va tout autrement des formations professionnelles et continues. Dans ce dernier cas l’hétérogénéité des parcours des apprenants est la règle plutôt que l’exception. Finalement qu’en est-il de l’influence de la qualité pédagogique des contenus ? Peut-on appliquer les corrélations obtenues sur la base d’un cours efficace à un autre cours mal construit ? Evidemment non. Le résultat global est que, pour l’instant, les résultats des études analytiques basées sur les MOOCs sont assez maigres [1]. Mais peut-être le problème vient-il de l’approche méthodologique ? En effet une autre technique serait de définir au préalable un but pédagogique clair avant de mesurer. Que veut-on améliorer exactement ? Ensuite il faut déterminer un modèle causal entre des valeurs mesurables et le but pédagogique. Ainsi l’influence des variables mesurées sur ce but sera claire et on pourra en tirer des conseils pour les apprenants. En effet, comme chaque étudiant en statistique le sait, il y a une différence fondamentale entre corrélation et causalité. Une corrélation est une observation de la variation simultanée de deux ou plusieurs variables, autrement dit leur interdépendance. Mais cela ne dit rien des liens de causalité. Ces derniers demandent l’établissement préalable d’un modèle causal expliquant comment la fixation de la valeur d’une variable influence la valeur d’une autre [5]. Prenons un exemple caricatural. Admettons que sur une plateforme MOOC nous observions que les apprenants qui arrêtent le visionnement d’une vidéo à 16 :00 pour reprendre à 16 :30 réussissent mieux le test final que ceux qui arrêtent à 19 :00 pour reprendre à 20 :00. Faut-il dès lors conseiller aux apprenants de toujours s’arrêter 30 minutes à 16 :00 ? Surement pas. Tout d’abord les sciences de l’apprentissage conseillent de faire une pause après une période d’apprentissage de l’ordre d’une heure. La pause de 16 :00 correspond peut-être à la fin d’une période d’une heure alors que la pause de 19 :00 intervient après 3 heures. Ensuite, la pause de 16 :00 peut représenter une pause-café durant laquelle l’apprenant consomme un stimulant (café, thé) ce qui augmente son énergie pour la suite de l’apprentissage. En revanche l’apprenant qui s’arrête à 19 :00 prendra peut-être son repas après lequel une période de digestion n’est pas propice à l’apprentissage. Enfin la fatigue générale de l’apprenant à 19 :00 est sans doute plus grande qu’à 16 :00 ce qui ne favorise pas l’apprentissage. Avec ce simple exemple on remarque que la corrélation est difficilement interprétable hors contexte. De plus certaines variables ne sont pas incluses dans les données corrélées, par exemple ce qu’on a consommé durant la pause. On le voit, l’établissement d’un modèle analytique cohérent de l’apprentissage elearning est complexe. Mais c’est un préalable pour espérer tirer des recommandations de l’analyse. L’avènement du microlearning, au-delà de ses avantages pédagogiques propres, introduit un cadre facilitant la conception d’un modèle de mesure et d’interprétation du comportement des apprenants. Ceci permet en particulier la mise en place de l’apprentissage adaptatif (adaptive learning). Dans le système e-Cadencia de ITycom l’adaptive learning consiste à adapter le rythme d’apprentissage ainsi que les micro-contenus (contenus du microlearning) aux dispositions des apprenants. Ne manquez pas notre prochaine newsletter dans laquelle nous vous en dirons davantage sur l’analyse d’apprentissage, le microlearning et l’adaptive learning dans e-Cadencia. Dr Ph. Dugerdil Product Owner
  • [1] Reich J. – Failure to Disrupt: Why Technology Alone Can’t Transform Education. Harvard University Press, 25 septembre 2020.
  • [2] Baker R.S. – Challenges for the Future of Educational Data Mining: The Baker Learning Analytics Prizes. Journal of Educational Data Mining, Volume 11, No 1, 2019
  • [3] Lagerstrom, L., Johanes, P.,  Ponsukcharoen, U. – The Myth of the Six-Minute Rule: Student Engagement with Online Videos. ASEE Annual Conference & Exposition, Seattle, 2015
  • [4] Ambrose S., Bridges M.W., DiPietro , Lovett M.C. Norman M.K. – How Learning Works. John Wiley, 2010
  • Pearl J. – The Book of Why: The New Science of Cause and Effect. Basic Books, 2018

Ensuite des techniques d’analyse automatique du type « deep learning » cherchent à identifier des corrélations entre le comportement de l’apprenant et la qualité de son apprentissage [2]. L’espoir est que la corrélation de la grande quantité de variables récoltées permette de faire émerger un modèle prédictif de la qualité de l’acquisition de connaissances. Cependant la difficulté est d’arriver à interpréter les corrélations ainsi obtenues [2]. Quand on sait que la durée de concentration moyenne des apprenants sur une vidéo de formation est de 6 minutes environ [3], quelle fiabilité peut-on espérer des mesures de comportement au-delà de cette période ? Par ailleurs, tous les enseignants savent que l’élément le plus important dans la détermination de l’acquisition de connaissances par un apprenant sont ses connaissances préalables [4]. Comment dès lors prendre en compte cette variable essentielle dans des modèles de corrélations ? S’il est raisonnable de penser que la détermination de cette variable soit possible dans le cas de formations scolaires voire universitaires, où la formation préalable des apprenants est assez bien connue et mesurée, il en va tout autrement des formations professionnelles et continues. Dans ce dernier cas l’hétérogénéité des parcours des apprenants est la règle plutôt que l’exception. Finalement qu’en est-il de l’influence de la qualité pédagogique des contenus ? Peut-on appliquer les corrélations obtenues sur la base d’un cours efficace à un autre cours mal construit ? Evidemment non. Le résultat global est que, pour l’instant, les résultats des études analytiques basées sur les MOOCs sont assez maigres [1]. Mais peut-être le problème vient-il de l’approche méthodologique ? En effet une autre technique serait de définir au préalable un but pédagogique clair avant de mesurer. Que veut-on améliorer exactement ? Ensuite il faut déterminer un modèle causal entre des valeurs mesurables et le but pédagogique. Ainsi l’influence des variables mesurées sur ce but sera claire et on pourra en tirer des conseils pour les apprenants. En effet, comme chaque étudiant en statistique le sait, il y a une différence fondamentale entre corrélation et causalité. Une corrélation est une observation de la variation simultanée de deux ou plusieurs variables, autrement dit leur interdépendance. Mais cela ne dit rien des liens de causalité. Ces derniers demandent l’établissement préalable d’un modèle causal expliquant comment la fixation de la valeur d’une variable influence la valeur d’une autre [5]. Prenons un exemple caricatural. Admettons que sur une plateforme MOOC nous observions que les apprenants qui arrêtent le visionnement d’une vidéo à 16 :00 pour reprendre à 16 :30 réussissent mieux le test final que ceux qui arrêtent à 19 :00 pour reprendre à 20 :00. Faut-il dès lors conseiller aux apprenants de toujours s’arrêter 30 minutes à 16 :00 ? Surement pas. Tout d’abord les sciences de l’apprentissage conseillent de faire une pause après une période d’apprentissage de l’ordre d’une heure. La pause de 16 :00 correspond peut-être à la fin d’une période d’une heure alors que la pause de 19 :00 intervient après 3 heures. Ensuite, la pause de 16 :00 peut représenter une pause-café durant laquelle l’apprenant consomme un stimulant (café, thé) ce qui augmente son énergie pour la suite de l’apprentissage. En revanche l’apprenant qui s’arrête à 19 :00 prendra peut-être son repas après lequel une période de digestion n’est pas propice à l’apprentissage. Enfin la fatigue générale de l’apprenant à 19 :00 est sans doute plus grande qu’à 16 :00 ce qui ne favorise pas l’apprentissage. Avec ce simple exemple on remarque que la corrélation est difficilement interprétable hors contexte. De plus certaines variables ne sont pas incluses dans les données corrélées, par exemple ce qu’on a consommé durant la pause. On le voit, l’établissement d’un modèle analytique cohérent de l’apprentissage elearning est complexe. Mais c’est un préalable pour espérer tirer des recommandations de l’analyse. L’avènement du microlearning, au-delà de ses avantages pédagogiques propres, introduit un cadre facilitant la conception d’un modèle de mesure et d’interprétation du comportement des apprenants. Ceci permet en particulier la mise en place de l’apprentissage adaptatif (adaptive learning). Dans le système e-Cadencia de ITycom l’adaptive learning consiste à adapter le rythme d’apprentissage ainsi que les micro-contenus (contenus du microlearning) aux dispositions des apprenants. Ne manquez pas notre prochaine newsletter dans laquelle nous vous en dirons davantage sur l’analyse d’apprentissage, le microlearning et l’adaptive learning dans e-Cadencia. Dr Ph. Dugerdil Product Owner

[1]   Reich J. – Failure to Disrupt: Why Technology Alone Can’t
Transform Education.
Harvard University
Press, 25 septembre 2020.

[2]   Baker R.S. – Challenges for the
Future of Educational Data Mining: The Baker Learning Analytics Prizes.
Journal
of Educational Data Mining, Volume 11, No 1, 2019

[3]   Lagerstrom, L., Johanes, P.,  Ponsukcharoen, U. – The Myth of the
Six-Minute Rule: Student Engagement with Online Videos.
ASEE Annual
Conference & Exposition, Seattle, 2015

[4]   Ambrose S., Bridges M.W., DiPietro
M., Lovett M.C. Norman M.K. – How Learning Works.
John Wiley, 2010

[5]   Pearl J. – The Book of Why: The New
Science of Cause and Effect. 
Basic
Books,  2018

 

Microlearning et Learning Analytics dans e-Cadencia

ordinateur
Dans notre article précédent sur les « learning analytics » (
https://e-cadencia.com/publications/) nous
avons insisté sur la nécessaire définition d’un but pédagogique avant de se lancer dans le captage
« tous azimuts » de données sur les apprenants. Que veut-on améliorer et pourquoi ?

Ensuite des techniques d’analyse automatique du type « deep learning » cherchent à identifier des corrélations entre le comportement de l’apprenant et la qualité de son apprentissage [2]. L’espoir est que la corrélation de la grande quantité de variables récoltées permette de faire émerger un modèle prédictif de la qualité de l’acquisition de connaissances. Cependant la difficulté est d’arriver à interpréter les corrélations ainsi obtenues [2]. Quand on sait que la durée de concentration moyenne des apprenants sur une vidéo de formation est de 6 minutes environ [3], quelle fiabilité peut-on espérer des mesures de comportement au-delà de cette période ? Par ailleurs, tous les enseignants savent que l’élément le plus important dans la détermination de l’acquisition de connaissances par un apprenant sont ses connaissances préalables [4]. Comment dès lors prendre en compte cette variable essentielle dans des modèles de corrélations ? S’il est raisonnable de penser que la détermination de cette variable soit possible dans le cas de formations scolaires voire universitaires, où la formation préalable des apprenants est assez bien connue et mesurée, il en va tout autrement des formations professionnelles et continues. Dans ce dernier cas l’hétérogénéité des parcours des apprenants est la règle plutôt que l’exception. Finalement qu’en est-il de l’influence de la qualité pédagogique des contenus ? Peut-on appliquer les corrélations obtenues sur la base d’un cours efficace à un autre cours mal construit ? Evidemment non. Le résultat global est que, pour l’instant, les résultats des études analytiques basées sur les MOOCs sont assez maigres [1].

Mais peut-être le problème vient-il de l’approche méthodologique ? En effet une autre technique serait de définir au préalable un but pédagogique clair avant de mesurer. Que veut-on améliorer exactement ? Ensuite il faut déterminer un modèle causal entre des valeurs mesurables et le but pédagogique. Ainsi l’influence des variables mesurées sur ce but sera claire et on pourra en tirer des conseils pour les apprenants. En effet, comme chaque étudiant en statistique le sait, il y a une différence fondamentale entre corrélation et causalité. Une corrélation est une observation de la variation simultanée de deux ou plusieurs variables, autrement dit leur interdépendance. Mais cela ne dit rien des liens de causalité. Ces derniers demandent l’établissement préalable d’un modèle causal expliquant comment la fixation de la valeur d’une variable influence la valeur d’une autre [5]. Prenons un exemple caricatural. Admettons que sur une plateforme MOOC nous observions que les apprenants qui arrêtent le visionnement d’une vidéo à 16 :00 pour reprendre à 16 :30 réussissent mieux le test final que ceux qui arrêtent à 19 :00 pour reprendre à 20 :00. Faut-il dès lors conseiller aux apprenants de toujours s’arrêter 30 minutes à 16 :00 ? Surement pas. Tout d’abord les sciences de l’apprentissage conseillent de faire une pause après une période d’apprentissage de l’ordre d’une heure. La pause de 16 :00 correspond peut-être à la fin d’une période d’une heure alors que la pause de 19 :00 intervient après 3 heures. Ensuite, la pause de 16 :00 peut représenter une pause-café durant laquelle l’apprenant consomme un stimulant (café, thé) ce qui augmente son énergie pour la suite de l’apprentissage. En revanche l’apprenant qui s’arrête à 19 :00 prendra peut-être son repas après lequel une période de digestion n’est pas propice à l’apprentissage. Enfin la fatigue générale de l’apprenant à 19 :00 est sans doute plus grande qu’à 16 :00 ce qui ne favorise pas l’apprentissage. Avec ce simple exemple on remarque que la corrélation est difficilement interprétable hors contexte. De plus certaines variables ne sont pas incluses dans les données corrélées, par exemple ce qu’on a consommé durant la pause. On le voit, l’établissement d’un modèle analytique cohérent de l’apprentissage elearning est complexe. Mais c’est un préalable pour espérer tirer des recommandations de l’analyse.

L’avènement du microlearning, au-delà de ses avantages pédagogiques propres, introduit un cadre facilitant la conception d’un modèle de mesure et d’interprétation du comportement des apprenants. Ceci permet en particulier la mise en place de l’apprentissage adaptatif (adaptive learning). Dans le système e-Cadencia de ITycom l’adaptive learning consiste à adapter le rythme d’apprentissage ainsi que les micro-contenus (contenus du microlearning) aux dispositions des apprenants.

Ne manquez pas notre prochaine newsletter dans laquelle nous vous en dirons davantage sur l’analyse d’apprentissage, le microlearning et l’adaptive learning dans e-Cadencia.

Dr Ph. Dugerdil

Product Owner

 

  • [1] Reich J. – Failure to Disrupt: Why Technology Alone Can’t
    Transform Education. Harvard University
    Press, 25 septembre 2020.
  • [2] Baker R.S. – Challenges for the
    Future of Educational Data Mining: The Baker Learning Analytics Prizes. Journal
    of Educational Data Mining, Volume 11, No 1, 2019
  • [3] Lagerstrom, L., Johanes, P.,  Ponsukcharoen, U. – The Myth of the
    Six-Minute Rule: Student Engagement with Online Videos. ASEE Annual
    Conference & Exposition, Seattle, 2015
  • [4] Ambrose S., Bridges M.W., DiPietro
    , Lovett M.C. Norman M.K. – How Learning Works. John Wiley, 2010
  • Pearl J. – The Book of Why: The New
    Science of Cause and Effect. Basic
    Books, 2018
En préambule j’aimerais poser les bases du microlearning mis en œuvre dans e-Cadencia. Le
microlearning est une technique de e-learning de plus en plus populaire
[4]
[1]. Bien que ce terme fasse
désormais partie de l’arsenal marketing des vendeurs de solutions, il existe peu de recommandations
convaincantes sur sa mise en œuvre. Un consensus semble toutefois émerger autour de la durée des
microcours, on parle généralement de 3 à 5 minutes, et sur leur nécessaire autonomie. Ce dernier
terme veut dire que chaque microcours doit être assimilable indépendamment des autres. Cette
exigence est très délicate à mettre en œuvre et oblige à repenser la démarche pédagogique.
Dans un système de formation e-learning, l’un des défis est de s’assurer que les étudiants étudient
effectivement et assimilent les connaissances. Parmi les difficultés généralement invoquées dans le
suivi de cours MOOC
[1], on cite généralement le rythme des cours qui peut être inadapté à l’apprenant
et la difficulté de concentration sur une longue vidéo. En particulier, une étude académique a montré
qu’après 5 minutes le nombre d’étudiants abandonnant le visionnement augmente rapidement
[2][2].
Or sans concentration, il n’y a pas d’apprentissage. Ainsi la durée critique de concentration sur une
vidéo de cours est d’environ 6 minutes
[3].
Dans e-Cadencia, nous avons choisi pour une durée de microcours de 3 minutes maximum. Chaque
microcours est complété par un test des connaissances de 60 secondes. Cette durée de 3 minutes a
deux avantages : elle est inférieure à la durée critique de concentration et elle est suffisamment courte
pour permettre à un apprenant de répéter entièrement un microcours non assimilé. Par ailleurs nous
avons opté pour une technologie « push » : les microcours sont envoyés sur les dispositifs mobiles de
chaque apprenant suivant un rythme personnalisé. Ce dernier sera choisi en fonction de la vitesse
d’assimilation de l’apprenant.
Dans e-Cadencia, l’objectif pédagogique n’est pas de former mais de faire apprendre, de faire assimiler
les connaissances. Pour cela il faut que l’apprenant puisse se concentrer sur la matière à son rythme.
C’est dans cette perspective que nous avons conçu les learnings analytics de e-Cadencia. Pour chaque
envoi de microcours, nous mesurons le délai de consultation et le résultat au test. Si le délai s’allonge
cela veut dire soit que l’apprenant a de la difficulté à assimiler le contenu, soit qu’il est trop occupé et
ne peut pas dégager le temps nécessaire pour étudier. Dans tous les cas, nous allons ralentir le rythme
d’envoi des nouveaux microcours sur son mobile pour éviter de le décourager. Le résultat au test nous
permet de connaître le niveau d’assimilation. Si le résultat au test est faible et que le délai de
consultation est normal ou long, la matière, bien qu’étudiée correctement, n’est pas acquise. Dans ce
cas, on peut décider de renvoyer le même microcours pour consolider les connaissances. Si le résultat
au test est faible et que le délai de consultation est trop court, cela peut être interprété comme un
manque de sérieux dans l’apprentissage. L’apprenant sera alors encouragé à consacrer plus de temps
à sa formation. Si le résultat au test bon et que le délai de consultation est court, cela peut s’interpréter
comme une facilité d’assimilation par l’apprenant. Dans ce cas e-Cadencia augmentera le rythme
d’envoi des microcours sur son dispositif mobile pour qu’il puisse avancer plus vite. Finalement, si le
résultat au test bon et que le délai de consultation est normal, le rythme des microcours est bien
adapté à l’apprenant. Dans chacun de ces exemples, la stratégie pédagogique n’est pas préfixée mais
peut être programmée. C’est au responsable de la formation de décider ce qu’il faudra faire en
fonction de l’état des données des apprenants.
En résumé, les données analysées par e-Cadencia sont au service d’une meilleure assimilation des
cours par les apprenants. Cela passe par un rythme d’envoi des microcours individualisé, sur la base
du délai de consultation et du résultat au test.
Dr Ph. Dugerdil
Product Owner
References
[1] Aldowah, H. et al. Factors affecting student dropout in MOOCs: a cause and effect
decision
making model. J Comput High Educ. 2019.
[2] Kim J., Guo P. J., Seaton D. T., Mitros P., Gajos K. Z., Miller, R. C. -Understanding In-video Dropouts
and Interaction Peaks In online Lecture Videos. Proc. of the First ACM Conference on Learning @
Scale, Atlanta, 2014]
[3] Lagerstrom, L., Johanes, P., Ponsukcharoen, U. – The Myth of the Six-Minute Rule: Student
Engagement with Online Videos. ASEE Annual Conference & Exposition, Seattle, 2015
[4] Leong K., Sung A., Au D., Blanchard C. – A review of the trend of microlearning. Journal of Work-
Applied Management 13(1). April 2021

Une question sur l'un de nos services ?