EduQG : Un nouveau modèle pour générer des questions éducatives

La génération automatique de questions éducatives est super importante pour améliorer l'éducation en ligne. Avec de plus en plus de gens qui s'engagent dans l'apprentissage personnalisé, il est essentiel de leur permettre d'évaluer efficacement leurs connaissances. Cet article parle d'un nouveau modèle appelé EduQG, conçu pour créer des questions éducatives en utilisant un grand modèle linguistique. En affinant et préparant ce modèle avec des textes scientifiques et des questions de science existantes, EduQG vise à produire des questions éducatives de haute qualité.

Les ressources éducatives comme les cours en ligne et les matériaux d'apprentissage ouverts sont largement accessibles. Cependant, elles ne viennent souvent pas avec des questions qui aident les apprenants à tester leur compréhension après avoir étudié le contenu. Créer un système pour générer automatiquement des questions éducatives peut rendre l'apprentissage plus accessible pour tous. Bien que les modèles linguistiques aient montré des promesses dans la Génération de questions, leur application spécifiquement dans l'éducation est encore en évolution. Ce travail illustre comment un grand modèle linguistique peut être adapté pour répondre aux besoins éducatifs.

#Contexte sur la Génération de Questions

La génération de questions (QG) fait référence à la capacité d'un système à créer des questions en fonction des informations données. Cela est étroitement lié à la réponse à des questions (QA), où l'accent est mis sur la fourniture de réponses. Les deux tâches sont essentielles pour améliorer la compréhension de la lecture. Cette étude met en avant la QG comme un élément clé des méthodes éducatives.

La génération automatique de questions implique de créer des questions pertinentes et cohérentes basées sur des phrases spécifiques et des réponses attendues. Historiquement, diverses approches ont été utilisées, y compris des méthodes basées sur des règles et des réseaux de neurones. Récemment, l'apprentissage profond a conduit à l'émergence de modèles utilisant la transformation de séquence pour générer des questions. Ces modèles neurologiques peuvent produire des questions en fonction du contexte et des réponses attendues à partir de Jeux de données, garantissant des résultats de haute qualité. Malheureusement, ces méthodes dépendent souvent d'un système supplémentaire pour identifier les réponses, ce qui limite leur utilisation pratique. De plus, le manque de jeux de données publiquement disponibles pose des défis pour le développement de systèmes générant à la fois des questions et des réponses. Une autre approche consiste à former des modèles de QG en utilisant uniquement le contexte fourni, permettant la génération de questions pertinentes à certains niveaux de documents.

#Modèles Linguistiques Pré-entraînés dans l'Éducation

Récemment, il y a eu une tendance à utiliser des modèles linguistiques pré-entraînés (PLMs) pour la génération de questions éducatives. Des modèles comme GPT-3 et Google T5 sont devenus populaires pour leur capacité à produire des questions sans nécessiter d'entraînement supplémentaire. Des recherches ont souligné leur potentiel pour générer des questions liées à l'éducation.

Un exemple est le système Leaf, qui améliore un grand modèle linguistique pour la création de questions et de réponses. Ce système a affiné un modèle T5 en utilisant le jeu de données SQuAD 1.1, axé sur la compréhension de lecture. Cependant, cette étude diffère car elle utilise une préparation supplémentaire sur le PLM avec des textes scientifiques pertinents pour l'éducation. Cette technique a montré du succès dans des domaines spécialisés comme la médecine.

L'idée de cette étude est qu'en formant davantage avec des textes scientifiques, le PLM peut améliorer la qualité des questions éducatives, même si les modèles sont principalement orientés vers des tâches générales. Divers indicateurs, comme BLEU, ROUGE, METEOR et des évaluations humaines, sont utilisés pour évaluer la qualité des questions générées, s'assurant qu'elles possèdent une correction linguistique et une clarté.

#Jeux de Données Connus

Plusieurs jeux de données servent de base à cette étude. S2ORC est un grand corpus qui inclut des millions de publications académiques dans divers domaines. Pour évaluer la génération de questions éducatives, l'étude se réfère également au système Leaf, qui a été conçu à des fins éducatives. Le jeu de données SQuAD, bien qu'utile pour d'autres applications, n'est pas idéal pour mesurer la QG éducative.

En revanche, SciQ est un ensemble plus petit de questions d'examen couvrant divers sujets scientifiques comme la physique et la chimie. Ce jeu de données est plus pertinent pour évaluer les compétences de génération de questions éducatives. Par conséquent, l'étude utilise le jeu de données SciQ pour l'évaluation du modèle, s'assurant qu'il s'aligne avec des scénarios éducatifs réels.

#Questions de Recherche

La recherche se concentre sur la réponse à plusieurs questions clés :

1. Les modèles linguistiques pré-entraînés peuvent-ils créer des questions éducatives qui ressemblent à celles faites par des humains ?
2. Un entraînement supplémentaire avec des textes scientifiques améliore-t-il la capacité de ces modèles à générer des questions éducatives ?
3. Comment la taille des données d'entraînement impacte-t-elle la qualité des questions produites ?
4. Un ajustement du modèle avec des données de questions éducatives peut-il mener à des améliorations ?

#Modèles de Génération de Questions

Cette étude a développé différents systèmes de QG basés sur divers PLMs. Il n'était pas pratique de former un nouveau modèle neuronal de zéro en raison de données limitées et de exigences élevées en ressources. Au lieu de cela, les chercheurs ont utilisé un modèle pré-entraîné comme base pour leurs expériences.

Le modèle Leaf a servi de référence. Il a affiné le modèle T5 sur le jeu de données SQuAD 1.1, qui est axé sur la compréhension de lecture. Le modèle EduQG proposé change la donne en intégrant une étape de pré-entraînement qui prépare le PLM avec des documents scientifiquement pertinents avant l'ajustement pour la génération de questions. Cette préparation est censée aider le modèle à mieux saisir le langage et le contenu scientifiques, améliorant la qualité globale des questions.

De plus, des variations des modèles appelées Leaf+ et EduQG+ ont été créées. Ces versions ont subi un ajustement supplémentaire en utilisant un jeu de données éducatif qui est plus spécialisé que les jeux de données de questions générales. Les chercheurs pensaient qu'améliorer la compréhension du modèle grâce à un pré-entraînement ciblé mènerait à de meilleures questions éducatives.

Différents jeux de données seront utilisés à diverses étapes de l'entraînement. Ces jeux de données aident à :

• Préparer davantage le PLM avec un contenu en langage scientifique.
• Affiner le PLM pour la génération de questions, distincte de son entraînement initial.
• Mesurer combien le modèle performe dans la génération de questions.

Le modèle de référence Leaf saute l'étape de pré-entraînement. En revanche, les modèles EduQG utilisent S2ORC pour la préparation. Les modèles sont ensuite affinés en utilisant le jeu de données SQuAD et évalués avec les données de test SciQ.

#Métriques d'Évaluation

La recherche utilise deux aspects clés de qualité pour évaluer les modèles de QG : la Précision des prédictions et la qualité des questions générées. La précision est mesurée en utilisant les scores BLEU et F1, tandis que la qualité semblable à celle des humains est évaluée à travers la perplexité et la diversité du vocabulaire. Des scores de perplexité plus bas indiquent une meilleure cohérence, tandis que des scores de diversité plus élevés suggèrent un vocabulaire plus riche dans les questions générées.

#Configuration Expérimentale

Des expériences ont été conçues pour répondre aux questions de recherche mentionnées précédemment. Pour voir si les PLMs peuvent créer des questions semblables à celles générées par des humains, des indicateurs de qualité linguistique tels que la perplexité et la diversité ont été évalués par rapport aux questions des jeux de données SQuAD 1.1 et SciQ. L'hypothèse est que les questions générées par des machines sont acceptables si elles montrent des indicateurs similaires ou supérieurs par rapport aux questions générées par des humains.

Le modèle fondamental utilisé pour ces expériences est le modèle linguistique T5-small, qui a moins de paramètres par rapport aux modèles plus grands. L'étude a créé cinq modèles et les a évalués en utilisant les données de test SciQ pour répondre aux questions de recherche.

Pour la deuxième question de recherche, les modèles Leaf et EduQG Large ont été comparés. Le modèle de référence Leaf examine l'ajustement sur le jeu de données SQuAD, tandis que le modèle EduQG Large a ajouté une étape de pré-entraînement avec des résumés scientifiques.

Pour la troisième question, EduQG Small a utilisé moins d'exemples d'entraînement par rapport à EduQG Large pour voir comment la taille des données influençait la qualité.

La quatrième question de recherche a examiné si l'ajustement avec des questions éducatives améliorerait les modèles. Ici, les modèles Leaf+ et EduQG+ ont appris à partir du jeu de données SciQ pendant l'entraînement. Les résultats ont montré que l'ajustement avait fourni des améliorations significatives dans la précision des prédictions.

#Résultats et Discussion

Les résultats obtenus de ces expériences éclairent les questions de recherche. Pour RQ1, les modèles Leaf et EduQG ont montré des scores de perplexité acceptables par rapport aux questions générées par des humains du SQuAD 1.1. Bien que les modèles EduQG n'aient pas complètement égalé les questions de SciQ en qualité linguistique, ils ont généré des questions cohérentes et lisibles.

Pour RQ2, les résultats ont indiqué que les deux modèles EduQG ont surpassé le modèle Leaf sur la plupart des indicateurs d'évaluation, montrant que le pré-entraînement avec des textes scientifiques conduit à une meilleure génération de questions éducatives.

Les résultats de RQ3 ont montré qu'EduQG Large surpassait EduQG Small en raison du plus grand jeu de données d'entraînement au pré-entraînement. Cette découverte suggère que fournir plus d'exemples d'entraînement pendant le pré-entraînement améliore significativement la qualité des questions.

Enfin, les résultats liés à RQ4 ont souligné que l'ajustement avec des questions éducatives a amélioré à la fois la précision et la cohérence des sorties générées. Cette amélioration a suggéré la capacité des modèles à produire des questions qui s'alignent bien avec le contenu scientifique.

#Directions Futures

Malgré des résultats prometteurs, il faut faire preuve de prudence avec les systèmes de génération automatique de questions. Les modèles reflètent les schémas trouvés dans les données d'entraînement, nécessitant une validation minutieuse pour garantir l'éthique et le bien-fondé pédagogique. Mettre l'accent sur la qualité des ensembles de données d'entraînement est essentiel pour développer des modèles impartiaux qui bénéficient à tous les apprenants.

De plus, les recherches futures se concentreront sur les évaluations humaines des questions générées par l'IA. Recueillir des avis d'éducateurs et d'apprenants fournira des retours précieux qui pourraient améliorer les modèles futurs. Explorer l'adaptabilité des approches à d'autres PLMs et établir des méthodes pour auditer les ensembles de données sera essentiel pour améliorer la génération de questions éducatives.

En conclusion, ce travail illustre le potentiel d'adapter des modèles linguistiques pré-entraînés pour la génération de questions éducatives. Un modèle bien préparé peut produire des questions semblables à celles des humains à faible coût et améliorer les opportunités d'apprentissage. Les résultats soulignent l'importance d'utiliser des ensembles de données spécifiques au domaine pour améliorer les modèles linguistiques pour des applications éducatives. Le développement continu visera à affiner ces modèles et à explorer des approches innovantes pour garantir des résultats de qualité qui soutiennent divers besoins éducatifs.