Évaluer les compétences en écriture L2 avec GPT-4

La notation automatisée des essais (AES) est utilisée depuis de nombreuses années pour évaluer la capacité des gens à écrire dans une langue seconde (L2). Bien que la notation générale se soit améliorée pour correspondre à ce que les humains peuvent faire, la décomposition des scores en parties spécifiques rencontre encore des défis. Récemment, des modèles de langage avancés comme GPT-4 offrent de nouvelles façons d'évaluer automatiquement différentes parties des compétences en écriture en L2. Cet article va explorer comment GPT-4 peut être utilisé pour donner des scores détaillés pour des domaines spécifiques de compétences en écriture.

#Contexte sur la notation automatisée des essais

La technologie AES a évolué depuis ses débuts dans les années 1960. Un des premiers systèmes, le Project Essay Grade (PEG), notait les écrits en se basant sur des caractéristiques basiques comme la longueur de l'essai et la ponctuation. Avec le temps, les systèmes automatisés sont devenus plus avancés, utilisant des techniques de traitement du langage naturel (NLP). Les principaux systèmes utilisés aujourd'hui incluent e-rater, IntelliMetric et l'Intelligent Essay Assessor.

Au cours des dernières années, les techniques d'apprentissage profond et les réseaux neuronaux ont apporté des améliorations notables à l'AES. Les modèles basés sur les transformateurs, comme BERT et les modèles GPT plus récents, ont encore repoussé les limites de ce que les systèmes automatiques peuvent faire. Bien que ces modèles aient montré un grand succès pour noter les essais dans leur ensemble, leur capacité à évaluer des composants spécifiques n'a pas été entièrement explorée.

#Notation holistique vs. analytique

Quand on parle d'évaluation des langues, il y a deux méthodes principales : la notation holistique et la notation analytique. La notation holistique donne un score unique basé sur la performance globale, en tenant compte de tous les facteurs à la fois. En revanche, la notation analytique décompose l'écriture en divers éléments, en attribuant des scores séparés pour chaque partie, comme le vocabulaire, la grammaire et la cohérence.

La notation holistique est plus facile et rapide pour les évaluateurs humains, et des études montrent une plus grande accord entre eux. Cependant, cela peut manquer des détails importants sur ce que l'écrivain fait bien ou doit améliorer. La notation analytique fournit des retours plus détaillés, mais elle est plus compliquée et chronophage, ce qui conduit souvent à des incohérences.

#Pourquoi utiliser GPT-4 pour la notation analytique ?

Avec l'essor des grands modèles de langage, il y a un potentiel pour améliorer la notation diagnostique des essais. GPT-4 peut analyser des aspects spécifiques de l'écriture en se basant sur les scores holistiques existants. Cela pourrait fournir aux apprenants de L2 des aperçus précieux sur leurs compétences en écriture, mettant en lumière leurs forces et faiblesses et soutenant leur progression dans des domaines spécifiques.

#Méthodologie

#Plateforme d'amélioration de l'écriture

La plateforme Write Improve (WI) permet aux apprenants de L2 de s'exercer à l'écriture. Les utilisateurs soumettent des essais basés sur diverses invites, recevant des retours automatisés. Depuis 2014, ces essais ont été annotés avec des niveaux de compétence et des corrections grammaticales. Cela a créé un ensemble de données d'environ 3 300 essais.

De plus, la base de données linguistique ouverte EF-Cambridge (EFCAMDAT) comprend plus d'un million de scripts d'apprenants L2. Cet ensemble de données aide à comprendre la compétence en écriture L2 sur un grand échantillon. Pour notre recherche, nous nous concentrons sur un sous-ensemble des deux ensembles de données pour former et valider nos modèles.

#Formation du correcteur holistique

Nous commençons par former un correcteur holistique en utilisant un modèle Longformer, qui analyse le texte et fournit un score unique pour les essais. Ce modèle a été affiné en utilisant à la fois les données d'entraînement WI et EFCAMDAT. Nous évaluons sa performance en fonction de différentes mesures statistiques.

#GPT-4 pour la notation analytique

Une fois que nous avons les scores holistiques, nous les intégrons dans GPT-4 pour obtenir des scores analytiques pour neuf aspects de l'écriture, y compris le Contrôle du vocabulaire, la précision grammaticale, la cohérence et le développement thématique. Les invites données à GPT-4 sont structurées pour s'assurer qu'il se concentre sur des éléments spécifiques sans biais des facteurs externes comme le score global.

#Résultats

#Performance de la notation holistique

Le modèle basé sur Longformer montre de bons résultats dans la notation des essais. Il a une plus haute précision dans la prédiction des scores holistiques par rapport aux modèles précédents. Cette performance démontre que la notation holistique est efficace et accessible, fournissant une base solide pour une analyse plus poussée.

#Extraction des scores analytiques avec GPT-4

Le modèle GPT-4 a produit des scores analytiques qui montrent des corrélations significatives avec différentes caractéristiques d'écriture. Par exemple, la précision grammaticale a montré un lien fort avec les taux d'erreurs grammaticales. Les scores de contrôle du vocabulaire se sont bien corrélés avec la présence de mots difficiles dans les essais.

En comparant les prédictions du modèle avec les scores attribués par des humains, les résultats ont révélé que GPT-4 a bien performé même sans contexte supplémentaire. Cela suggère que GPT-4 peut analyser le texte de manière indépendante et fournir des retours significatifs basés uniquement sur le contenu de l'essai.

#Corrélations entre les scores analytiques et les caractéristiques de l'écriture

L'étude a révélé que plusieurs caractéristiques clés de l'écriture avaient des liens forts avec les scores analytiques prédits. Par exemple, le nombre de vocabulaire unique et la complexité des phrases ont influencé la manière dont GPT-4 a évalué la portée du vocabulaire et la cohérence. Ces résultats mettent en avant la capacité du modèle à traiter et analyser le langage efficacement.

#Discussion

#Importance de la notation analytique

Offrir des retours détaillés aux apprenants de L2 peut avoir un grand impact sur leur développement en écriture. La notation analytique apporte de la clarté et permet aux apprenants de se concentrer sur leurs points faibles tout en reconnaissant leurs forces. GPT-4 se démarque comme un outil pour cela, fournissant des aperçus significatifs sur la compétence en écriture.

#Défis de la notation analytique

Malgré les résultats prometteurs, des défis subsistent pour fournir des scores analytiques cohérents et fiables. Les prédictions du modèle dépendent encore de la précision et de la qualité des données sur lesquelles il a été formé. De plus, les problèmes liés aux humains comme le biais et la variabilité dans la notation sont des considérations qui doivent être prises en compte.

#Directions futures

L'étude prépare le terrain pour une exploration plus poussée de GPT-4 dans les environnements éducatifs. Les recherches futures pourraient impliquer la mise en œuvre de ce système dans les salles de classe, où le progrès en écriture des étudiants peut être suivi en fonction des retours personnalisés. De plus, intégrer des systèmes multimodaux qui évaluent les compétences orales pourrait élargir le champ de l'évaluation automatisée des langues.

#Conclusion

En résumé, utiliser GPT-4 pour la notation analytique dans l'écriture L2 présente une approche viable pour fournir des retours détaillés aux apprenants. Bien qu'il reste du travail à faire pour affiner le processus, les résultats initiaux suggèrent que cette technologie pourrait considérablement améliorer la manière dont nous évaluons les compétences en écriture. En se concentrant sur des composants spécifiques de l'écriture, les éducateurs peuvent mieux soutenir les étudiants dans leur parcours d'apprentissage des langues. Les systèmes automatisés comme GPT-4 promettent un avenir pour l'évaluation linguistique, rendant le processus plus efficace et efficace pour tous ceux qui sont impliqués.