Améliorer l'évaluation des apprenants avec de nouveaux modèles
Une nouvelle approche améliore l'évaluation des apprenants et la compréhension des compétences.
― 8 min lire
Table des matières
Dans l'éducation moderne, on met un gros accent sur le fait d'aider les apprenants à développer leurs compétences et à les évaluer correctement. Ce processus est important pour comprendre à quel point les étudiants peuvent accomplir des tâches et dans quels domaines ils pourraient avoir besoin d'améliorer.
Avant, les chercheurs avaient développé une méthode pour créer un modèle d'apprenant à partir d'un ensemble de lignes directrices appelées grille d'évaluation. Cela facilitait la création d'outils qui évaluent automatiquement les compétences des étudiants. Cependant, cette méthode avait certains problèmes : elle ne définissait pas clairement l'ordre des compétences et ne prenait pas en compte des compétences supplémentaires dont les étudiants pourraient avoir besoin pour accomplir leurs tâches.
Cet article discute de la manière dont ces problèmes ont été résolus. D'abord, une nouvelle méthode a été introduite pour garantir un ordre clair des compétences. Ensuite, le nouveau modèle inclut des compétences supplémentaires qui ne sont pas directement évaluées mais qui sont nécessaires pour compléter les tâches. Les améliorations renforcent l'évaluation globale des capacités des étudiants.
Modélisation de l'apprenant
Quand on parle d'apprenants, on fait référence à leurs compétences, qui peuvent être liées à des connaissances dans des matières spécifiques, des capacités dans des tâches pratiques, ou même leurs attitudes envers l'apprentissage. Un modèle d'apprenant aide à représenter ces compétences mathématiquement. Ces modèles sont importants car ils aident les enseignants à comprendre comment leurs étudiants s'en sortent et ce qu'ils pourraient avoir besoin de travailler.
Les Systèmes de Tutorat Intelligents (ITS) sont conçus pour aider à l'apprentissage sans qu'un enseignant soit présent. Ils interagissent directement avec l'utilisateur et fournissent des indices adaptés au niveau de compétence actuel de l'étudiant. Ces systèmes recueillent des informations sur la performance d'un apprenant dans les tâches et construisent un profil basé sur ces données. Ce profil aide à déterminer la meilleure façon d'aider l'apprenant.
Le modèle d'apprenant inclut généralement des variables cachées, représentant des compétences, et des actions observables, qui montrent comment l'apprenant performe sur des tâches spécifiques. Les compétences de chaque étudiant peuvent être évaluées en comparant leurs actions avec une grille prédéfinie qui indique différents niveaux de performance.
Grilles d'évaluation
Les grilles d'évaluation sont des outils utilisés pour évaluer la performance des étudiants. Elles se composent de deux parties : un tableau de compétences et une description des comportements ou actions qui correspondent à différents niveaux de compétence. Le tableau aide à comparer ce que l'étudiant peut faire par rapport aux niveaux de performance attendus.
En gros, une grille clarifie quelles compétences un étudiant devrait avoir en accomplissant une tâche. Elle met en avant les actions spécifiques qui démontrent ces compétences, guidant les enseignants dans l'évaluation de la performance des étudiants.
Cependant, parfois, les capacités réelles d'un étudiant ne correspondent pas à ce que la grille suggère. Un étudiant peut être capable de compétences plus avancées mais avoir du mal à les montrer pour diverses raisons, comme l'anxiété ou le manque de confiance.
Réseaux bayésiens
Les Réseaux Bayésiens sont un modèle statistique utilisé pour représenter les relations entre différentes variables. Dans le contexte de la modélisation des apprenants, ils aident à montrer comment diverses compétences influencent le comportement d'un apprenant dans les tâches. Chaque compétence et action observée peuvent être représentées comme des nœuds dans le réseau, avec des flèches montrant la direction de l'influence.
L'avantage des Réseaux Bayésiens, c'est qu'ils peuvent intégrer l'incertitude, c'est-à-dire qu'ils peuvent gérer des situations où la relation entre les compétences et la performance n'est pas toujours claire. En faisant cela, ils peuvent fournir une compréhension plus nuancée des capacités d'un apprenant.
Portes bruyantes
Pour améliorer les modèles d'apprenants, une structure appelée portes bruyantes est utilisée. Les portes bruyantes permettent au modèle de gérer des cas où les compétences ne sont pas toujours exprimées pendant une tâche. Dans ces cas, le modèle peut tenir compte de la possibilité qu'un étudiant possède une compétence mais n'est pas en mesure de la démontrer pour diverses raisons.
En utilisant des portes bruyantes, la relation entre compétences et actions devient plus flexible. Cette flexibilité permet au modèle d'estimer mieux les capacités et performances d'un apprenant, fournissant des aperçus sur ce qui pourrait entraver leur succès.
La tâche du tableau croisé
Pour démontrer la praticité de la nouvelle approche, une tâche appelée Tâche du Tableau Croisé (CAT) a été utilisée pour évaluer les compétences algorithmiques des apprenants. Cette tâche implique d'utiliser des tableaux colorés pour reproduire des motifs de couleur basés sur des instructions. Des étudiants âgés de 3 à 16 ans ont travaillé sur cette tâche dans un environnement contrôlé, où leurs performances ont été enregistrées.
L'évaluation de cette tâche était basée sur une grille qui définissait différents niveaux de complexité. Par exemple, les étudiants devaient démontrer divers degrés d'indépendance selon qu'ils utilisaient des instructions vocales, des diagrammes ou un retour visuel de l'enseignant.
Améliorations du modèle
Le nouveau modèle a introduit des fonctionnalités qui ont répondu aux limitations des modèles d'apprenants précédents. Il permet un ordre clair des compétences en ajoutant des nœuds observables pour renforcer les relations définies dans la grille. Cet ajout garantit que les compétences de haut niveau impliquent la maîtrise de celles de bas niveau.
De plus, le modèle a été élargi pour inclure des compétences supplémentaires qui ne sont pas explicitement couvertes par la grille d'évaluation. Ces compétences sont nécessaires pour accomplir des tâches mais pourraient ne pas être évaluées directement. En reconnaissant ces compétences supplémentaires, le modèle produit une représentation plus précise des capacités d'un apprenant.
Les avantages de la nouvelle approche
Le modèle mis à jour aide les enseignants à mieux comprendre les compétences que les apprenants ont et ce sur quoi ils peuvent avoir besoin de travailler. En définissant clairement les hiérarchies de compétences et en incluant des compétences supplémentaires, le modèle fournit une vue plus nuancée des capacités d'un étudiant.
En plus, l'utilisation des Réseaux Bayésiens avec des portes bruyantes aide à surmonter certaines des complexités liées aux méthodes d'évaluation traditionnelles. Le modèle permet aux enseignants de prendre des décisions éclairées et de fournir un soutien ciblé pour aider les étudiants à réussir.
Application dans des contextes réels
Utiliser ce modèle amélioré a des implications pratiques pour les environnements éducatifs réels. L'effort initial nécessaire pour mettre en place le modèle d'apprenant est comparable à la définition de la grille, ce qui le rend accessible aux éducateurs. Les enseignants qui n'ont pas une forte formation mathématique peuvent encore utiliser cette approche efficacement.
Avec le temps, à mesure que plus de preuves sont recueillies des interactions des étudiants, le modèle peut être affiné pour fournir des évaluations encore plus précises. Cette adaptabilité signifie que l'approche peut évoluer avec les besoins des étudiants et le contexte éducatif.
Conclusions
Cet article met en avant l'impact positif de la combinaison des grilles d'évaluation avec les Réseaux Bayésiens pour une modélisation efficace des apprenants. En abordant les limitations des méthodes antérieures, le nouveau modèle offre une représentation plus complète et précise des capacités des étudiants.
Avec des fonctionnalités qui appliquent un ordre de compétences et reconnaissent les compétences supplémentaires, l'approche améliore le processus d'évaluation, menant à de meilleures compréhensions de l'apprentissage des étudiants. L'incorporation de portes bruyantes augmente encore la flexibilité, permettant une meilleure analyse de la performance des apprenants.
Cette méthode offre un moyen pratique et efficace pour les enseignants d'évaluer les compétences des étudiants, menant à des expériences d'apprentissage plus personnalisées. En utilisant des outils que les éducateurs connaissent déjà, comme les grilles, cette approche ouvre de nouvelles possibilités pour une modélisation efficace des connaissances des étudiants.
Titre: Rubric-based Learner Modelling via Noisy Gates Bayesian Networks for Computational Thinking Skills Assessment
Résumé: In modern and personalised education, there is a growing interest in developing learners' competencies and accurately assessing them. In a previous work, we proposed a procedure for deriving a learner model for automatic skill assessment from a task-specific competence rubric, thus simplifying the implementation of automated assessment tools. The previous approach, however, suffered two main limitations: (i) the ordering between competencies defined by the assessment rubric was only indirectly modelled; (ii) supplementary skills, not under assessment but necessary for accomplishing the task, were not included in the model. In this work, we address issue (i) by introducing dummy observed nodes, strictly enforcing the skills ordering without changing the network's structure. In contrast, for point (ii), we design a network with two layers of gates, one performing disjunctive operations by noisy-OR gates and the other conjunctive operations through logical ANDs. Such changes improve the model outcomes' coherence and the modelling tool's flexibility without compromising the model's compact parametrisation, interpretability and simple experts' elicitation. We used this approach to develop a learner model for Computational Thinking (CT) skills assessment. The CT-cube skills assessment framework and the Cross Array Task (CAT) are used to exemplify it and demonstrate its feasibility.
Auteurs: Giorgia Adorni, Francesca Mangili, Alberto Piatti, Claudio Bonesana, Alessandro Antonucci
Dernière mise à jour: 2024-08-02 00:00:00
Langue: English
Source URL: https://arxiv.org/abs/2408.01221
Source PDF: https://arxiv.org/pdf/2408.01221
Licence: https://creativecommons.org/licenses/by/4.0/
Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.
Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.
Liens de référence
- https://www.michaelshell.org/
- https://www.michaelshell.org/tex/ieeetran/
- https://www.ctan.org/pkg/ieeetran
- https://www.ieee.org/
- https://www.latex-project.org/
- https://www.michaelshell.org/tex/testflow/
- https://www.ctan.org/pkg/ifpdf
- https://www.ctan.org/pkg/cite
- https://www.ctan.org/pkg/graphicx
- https://www.ctan.org/pkg/epslatex
- https://www.tug.org/applications/pdftex
- https://www.ctan.org/pkg/amsmath
- https://www.ctan.org/pkg/algorithms
- https://www.ctan.org/pkg/algorithmicx
- https://www.ctan.org/pkg/array
- https://www.ctan.org/pkg/subfig
- https://www.ctan.org/pkg/fixltx2e
- https://www.ctan.org/pkg/stfloats
- https://www.ctan.org/pkg/dblfloatfix
- https://www.ctan.org/pkg/endfloat
- https://www.ctan.org/pkg/url
- https://mirror.ctan.org/biblio/bibtex/contrib/doc/
- https://www.michaelshell.org/tex/ieeetran/bibtex/