Intégrer les chatbots dans l'éducation : idées et impact

Les Grands Modèles de Langage (LLMs), comme ChatGPT, suscitent beaucoup d'intérêt dans l'éducation. Ils peuvent aider dans diverses tâches, ce qui est particulièrement pertinent dans les cours d'informatique. Cet article discute de l'intégration d'un chatbot LLM dans les salles de classe, en se concentrant sur son impact, ses modes d'utilisation et les perceptions des étudiants.

#Contexte

Les récentes avancées dans les LLMs ont entraîné une utilisation accrue dans l'éducation. Les enseignants ont des sentiments partagés sur ces outils. Certains craignent que les étudiants ne s'appuient trop sur eux, tandis que d'autres pensent qu'ils pourraient améliorer l'apprentissage. Comprendre comment les étudiants interagissent avec ces Chatbots est crucial pour les éducateurs.

#Aperçu de l'étude

Dans cette étude, nous avons intégré un chatbot basé sur un grand modèle de langage dans trois cours différents à l'Université Aalto. Le chatbot était conçu pour que les étudiants l'utilisent librement, sans filtrer ses réponses. Les étudiants avaient la possibilité de discuter de leur travail de cours et d'autres sujets. Notre objectif était de voir à quelle fréquence et de quelle manière les étudiants utiliseraient le chatbot.

#Configuration du chatbot

Le chatbot était basé sur la dernière technologie LLM disponible à l'époque, GPT-4. Il était accessible par le biais d'une plateforme d'apprentissage en ligne. Les étudiants pouvaient dialoguer avec le chatbot, poser des questions et demander de l'aide pour des devoirs. Le chatbot était disponible à tout moment pendant le semestre, mais les étudiants étaient limités à cinq messages par minute et 100 messages par jour.

#Détails des cours

Le chatbot a été utilisé dans trois cours :

1. Ingénierie Logicielle avec Grands Modèles de Langage : Ce cours était axé sur les LLMs et leurs applications en ingénierie logicielle. Les étudiants apprenaient à tirer parti des LLMs dans leurs projets.

2. Conception Indépendante des Appareils : Ce cours d'introduction enseignait aux étudiants comment concevoir des applications fonctionnant sur différents appareils.

3. Développement de Logiciels Web : Ce cours mettait l'accent sur la création d'applications web, en utilisant diverses technologies modernes.

#Collecte de données

Au cours du semestre, nous avons collecté des données sur la façon dont chaque étudiant a interagi avec le chatbot. Nous avons également rassemblé des informations de base, comme l'expérience en programmation antérieure et la familiarité avec les LLMs. Des retours ont été collectés pour évaluer l'utilité du chatbot.

#Modèles d'utilisation du chatbot

#Utilisation globale

Le chatbot a été utilisé plus fréquemment dans le cours d'Ingénierie Logicielle avec LLMs par rapport aux deux autres cours. Environ 98 % des étudiants de ce cours ont interagi avec le chatbot, tandis que seulement 22 % et 24 % des étudiants l'ont utilisé dans les cours de Conception Indépendante des Appareils et de Développement de Logiciels Web, respectivement.

#Super-utilisateurs

Un petit nombre d'étudiants étaient des utilisateurs très actifs du chatbot, appelés "super-utilisateurs." Ces individus représentaient une part importante des interactions totales. En fait, seulement 18 étudiants ont envoyé plus de la moitié de tous les messages du chatbot pendant le semestre.

#Utilisation par chapitre

L'utilisation variait selon les chapitres de cours. Dans le cours d'Ingénierie Logicielle avec LLMs, le chatbot était le plus souvent utilisé dans les chapitres contenant des problèmes de programmation. En revanche, d'autres cours montraient moins de variation d'utilisation selon les chapitres.

#Retours sur l'utilité

Après avoir interagi avec le chatbot, les étudiants ont évalué son utilité sur une échelle de 1 à 5 étoiles. Dans l'ensemble, les étudiants du cours d'Ingénierie Logicielle avec LLMs ont trouvé le chatbot plus utile par rapport à ceux des deux autres cours. Cependant, la note médiane dans tous les cours était de 4, ce qui indique un avis généralement positif, bien qu'il faille noter que les évaluations ont été influencées par les utilisateurs plus actifs.

#Expérience des étudiants

#Expérience antérieure en programmation

Fait intéressant, les étudiants qui ont signalé une plus grande familiarité avec les LLMs avaient tendance à utiliser le chatbot moins que les étudiants moins expérimentés. Cela pourrait indiquer que les utilisateurs plus expérimentés sont moins enclins à explorer ou expérimenter avec le chatbot.

#Différences entre les cours

Les cours ont montré des différences notables dans les antécédents des participants et leurs expériences avec les LLMs. Les étudiants du cours d'Ingénierie Logicielle avec LLMs ont évalué leurs compétences en programmation plus haut que ceux de Conception Indépendante des Appareils et de Développement de Logiciels Web.

#Limitations de l'étude

Il y a plusieurs limitations à noter. D'abord, les étudiants ont peut-être utilisé d'autres outils LLM en dehors du cours, ce que nous n'avons pas pris en compte. Ensuite, le système de retour était optionnel, ce qui pourrait conduire à une sous-représentation des étudiants qui n'ont pas utilisé le chatbot de manière extensive. De plus, les données auto-déclarées sur l'expérience précédente peuvent ne pas être entièrement exactes.

#Conclusion

L'intégration du chatbot basé sur LLM dans la salle de classe a montré des niveaux d'engagement variés selon les différents cours. Bien que certains étudiants aient trouvé le chatbot très utile, beaucoup d'autres ne l'ont pas utilisé de manière significative. Les éducateurs devraient tenir compte de ces différences et de la nécessité potentielle d'un soutien ciblé pour maximiser l'efficacité de ces outils dans les environnements d'apprentissage. Les recherches futures continueront d'explorer comment les LLMs peuvent être intégrés efficacement dans l'éducation.

#Directions futures

À l'avenir, il sera essentiel d'explorer comment intégrer davantage les outils LLM dans les programmes existants et d'identifier des moyens qui peuvent améliorer leur utilité pour les étudiants. L'objectif est d'affiner l'expérience d'apprentissage et de fournir un meilleur soutien à tous les types d'apprenants, en particulier ceux qui peuvent avoir besoin de plus d'orientation pour naviguer dans ces nouvelles technologies.

De plus, les études futures pourraient examiner comment les LLMs impactent le processus d'apprentissage et s'ils peuvent aider les étudiants avec des problèmes complexes en programmation. Comprendre le rôle des LLMs dans le contexte de l'engagement des étudiants et de leurs résultats d'apprentissage sera essentiel pour les éducateurs cherchant à améliorer les pratiques éducatives.

#Dernières réflexions

En conclusion, l'étude de l'intégration des LLMs comme les chatbots dans les contextes éducatifs offre des perspectives prometteuses. Bien que les résultats initiaux indiquent des niveaux d'utilisation et d'utilité perçue variés, le potentiel de ces outils pour aider à l'apprentissage reste significatif. Une évaluation continue et une adaptation des stratégies pédagogiques en accord avec les technologies émergentes ouvriront la voie à une éducation plus efficace et engageante à l'avenir.