Simple Science

La science de pointe expliquée simplement

# Informatique# Vision par ordinateur et reconnaissance des formes

Surveillance de l'engagement des étudiants dans l'apprentissage en ligne

Une nouvelle méthode utilise les mouvements du visage pour évaluer la concentration des élèves pendant l'éducation à distance.

Aimar Silvan Ortubay, Lucas C. Parra, Jens Madsen

― 8 min lire


Suivi de l'engagement desSuivi de l'engagement desmouvements faciauxen ligne.des étudiants améliore l'apprentissageLe suivi en temps réel de l'attention
Table des matières

Dans le monde d’aujourd’hui, l’apprentissage en ligne est devenu un moyen courant pour les étudiants d’accéder à l’éducation. Pourtant, les étudiants trouvent souvent difficile de rester concentrés pendant les cours à distance. Les profs s'appuient habituellement sur des indices visuels pour évaluer l'Engagement des étudiants, mais ces indices ne sont pas disponibles lors des cours en ligne. Ça crée un besoin d'outils meilleurs pour aider les enseignants à savoir quand les étudiants sont attentifs.

Le défi de l’apprentissage en ligne

Le passage à l’apprentissage en ligne, surtout pendant la pandémie, a rendu difficile pour les étudiants de garder leur intérêt. Les cours en présentiel offraient des interactions qui les gardaient engagés. Malheureusement, les environnements à distance ont limité ces interactions, faisant que les étudiants se déconcentrent plus facilement.

Actuellement, beaucoup de profs utilisent des méthodes comme des listes de contrôle et des sondages pour évaluer si les étudiants sont engagés. Cependant, ces méthodes peuvent être intrusives et prendre du temps. Elles ne reflètent souvent pas avec précision comment les étudiants se sentent à chaque instant. Certains outils comptent combien de fois une vidéo est regardée ou combien de temps elle a été visionnée, mais ces méthodes ne montrent peut-être pas de vrais niveaux d’engagement.

Il y a un intérêt croissant pour utiliser la technologie afin de suivre l'engagement des étudiants. Certains chercheurs ont examiné l’utilisation de signes physiques comme le rythme cardiaque ou l’activité neuronale. D'autres se sont basés sur le Suivi des mouvements des yeux pour évaluer à quel point les étudiants sont impliqués. Toutefois, beaucoup de ces méthodes nécessitent du matériel coûteux et peuvent être difficiles à mettre en place.

Une nouvelle approche

Cette nouvelle méthode se concentre sur l'analyse des mouvements du visage des étudiants captés par une webcam ordinaire. L'objectif est de mesurer l'engagement en observant les mouvements des yeux, de la tête et des expressions faciales. Contrairement à d'autres méthodes, cette approche ne nécessite pas de matériel spécial ou de calibration.

En formant un Modèle d'apprentissage profond sur des vidéos d'étudiants regardant des contenus éducatifs, les chercheurs visent à prédire à quel point un étudiant est engagé. Le système peut inférer l'attention en regardant des actions spécifiques, comme les mouvements des yeux, sans s'appuyer sur des données d'autres étudiants attentifs. Ça ouvre beaucoup de nouvelles possibilités pour surveiller l'engagement en ligne.

Comment ça fonctionne

La recherche implique de suivre les mouvements du visage d'un étudiant à l'aide d'un programme informatique appelé MediaPipe. Cet outil est léger et peut fonctionner sur des appareils standard comme les ordinateurs portables, ce qui le rend accessible à la plupart des utilisateurs. MediaPipe capte les positions des caractéristiques faciales et fournit des données En temps réel sans aucune configuration.

La méthode a été développée en utilisant des vidéos existantes où des participants regardaient du contenu éducatif. En analysant ces vidéos, les chercheurs ont formé un modèle qui peut prédire à quel point un étudiant est engagé simplement basé sur ses Mouvements Faciaux. Ce système peut fournir un retour en temps réel, permettant aux profs de savoir quand les étudiants ont besoin d'être réengagés.

Trois expériences distinctes ont été menées pour tester le modèle. Dans ces expériences, les étudiants regardaient de courtes vidéos éducatives. Les chercheurs évaluaient ensuite si le modèle pouvait prédire avec précision leurs niveaux d'attention basés sur les mouvements du visage.

Aperçus des expériences

Dans la première expérience, le modèle a prédit l’attention en se basant sur une partie du temps de visionnage, tandis que la deuxième expérience a testé un nouveau groupe regardant les mêmes vidéos. La troisième expérience impliquait un ensemble de vidéos complètement différent. Au total, la collecte de données s'est étendue sur plusieurs heures et différents sujets éducatifs, permettant une large analyse.

Tout au long de ces expériences, le système a montré qu'il pouvait se généraliser à partir des données d'entraînement à de nouveaux sujets et vidéos. En termes simples, le modèle a appris à prédire les niveaux d'attention même lorsque les étudiants étaient peu familiers avec le matériel, ce qui est un grand pas en avant.

Le rôle des mouvements faciaux

Les chercheurs ont mis l'accent sur les repères faciaux, qui sont des points spécifiques sur le visage pouvant indiquer les niveaux d'attention. Ils ont suivi les mouvements des yeux, des sourcils, des joues et de la position de la tête, utilisant ces données pour créer un tableau complet de l'engagement d'un étudiant à tout moment.

Le modèle s'appuie beaucoup sur les mouvements des yeux mais prend aussi en compte d'autres dynamiques faciales. En évaluant toutes ces données, le système fournit une estimation de l'engagement sans avoir besoin de voir comment les autres étudiants réagissent au même contenu vidéo. C'est essentiel, surtout dans les environnements d'apprentissage à distance où la collaboration est limitée.

Prédictions en temps réel

En utilisant le modèle formé, les chercheurs ont pu prédire l'engagement d'un étudiant en temps réel. Cette prédiction se base sur seulement dix secondes de données de mouvements faciaux. Le système traite les caractéristiques de mouvement du visage et de la tête, lui permettant de suivre en continu les niveaux d'engagement. Cela signifie que les profs peuvent recevoir des retours immédiats sur quels étudiants sont concentrés et lesquels pourraient avoir besoin d'aide pour se recentrer.

Avantages de l'approche

Un des gros avantages de ce système est qu'il peut fonctionner sur du matériel informatique standard, ce qui le rend rentable et facile à mettre en œuvre. Comme il fonctionne directement via des webcams, il y a moins de préoccupations concernant la vie privée. Seules les données d’engagement seraient envoyées, préservant la confidentialité des étudiants.

De plus, ce modèle offre un moyen d'évaluer en continu l'engagement sans interrompre le processus d'apprentissage. Les méthodes traditionnelles peuvent être perturbantes, mais cette approche permet aux profs d'obtenir des aperçus sur l'engagement des étudiants de façon passive.

L'importance de l'engagement dans l'apprentissage

L'engagement est un facteur clé pour un apprentissage efficace. Quand les étudiants sont activement impliqués, ils sont plus susceptibles de retenir l'information et de mieux performer académiquement. Avec cette nouvelle méthode, les éducateurs peuvent avoir une vision plus claire de l'engagement de leurs étudiants, même dans un cadre en ligne.

En suivant les mouvements et comportements faciaux, les profs peuvent ajuster leur approche pour mieux répondre aux besoins des étudiants. Par exemple, s'ils remarquent qu'une certaine partie d'une leçon fait perdre l'intérêt aux étudiants, ils peuvent changer leur façon de faire ou introduire de nouveaux matériaux qui pourraient mieux capter l'attention des apprenants.

Possibilités futures

Bien que cette étude ait montré des résultats prometteurs, il reste encore du chemin à parcourir. Les chercheurs pensent que rassembler un plus grand ensemble de données améliorera la précision du modèle. Cela permettra de s'assurer qu'il puisse être appliqué dans différents environnements d'apprentissage et avec une plus grande variété de vidéos.

Dans l'ensemble, les résultats suggèrent que le suivi de l'engagement en temps réel par l'analyse des mouvements faciaux pourrait devenir un outil précieux pour les éducateurs. En adoptant la technologie, les profs pourraient trouver de nouvelles façons de favoriser l'engagement et d'améliorer les résultats d'apprentissage des étudiants.

Conclusion

En résumé, cette approche innovante fournit des aperçus en temps réel sur l'engagement des étudiants pendant l'apprentissage en ligne. En utilisant les mouvements du visage captés par des webcams standard, les profs peuvent recevoir des retours immédiats sur quels étudiants sont concentrés et lesquels pourraient avoir des difficultés. Avec des ajustements supplémentaires, cette méthode a le potentiel de transformer la façon dont l'engagement est surveillé dans les classes en ligne, conduisant finalement à des expériences éducatives plus efficaces.

Source originale

Titre: Real-time estimation of overt attention from dynamic features of the face using deep-learning

Résumé: Students often drift in and out of focus during class. Effective teachers recognize this and re-engage them when necessary. With the shift to remote learning, teachers have lost the visual feedback needed to adapt to varying student engagement. We propose using readily available front-facing video to infer attention levels based on movements of the eyes, head, and face. We train a deep learning model to predict a measure of attention based on overt eye movements. Specifically, we measure Inter-Subject Correlation of eye movements in ten-second intervals while students watch the same educational videos. In 3 different experiments (N=83) we show that the trained model predicts this objective metric of attention on unseen data with $R^2$=0.38, and on unseen subjects with $R^2$=0.26-0.30. The deep network relies mostly on a student's eye movements, but to some extent also on movements of the brows, cheeks, and head. In contrast to Inter-Subject Correlation of the eyes, the model can estimate attentional engagement from individual students' movements without needing reference data from an attentive group. This enables a much broader set of online applications. The solution is lightweight and can operate on the client side, which mitigates some of the privacy concerns associated with online attention monitoring. GitHub implementation is available at https://github.com/asortubay/timeISC

Auteurs: Aimar Silvan Ortubay, Lucas C. Parra, Jens Madsen

Dernière mise à jour: 2024-09-25 00:00:00

Langue: English

Source URL: https://arxiv.org/abs/2409.13084

Source PDF: https://arxiv.org/pdf/2409.13084

Licence: https://creativecommons.org/licenses/by-sa/4.0/

Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.

Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.

Articles similaires