Simple Science

La science de pointe expliquée simplement

# Physique# Enseignement de la physique

L'IA dans la correction des devoirs de physique : une étude

Examiner le rôle de l'IA dans la notation des devoirs de physique pour un meilleur retour d'infos.

― 7 min lire


Notation AI en PhysiqueNotation AI en Physiquele travail des étudiants.Évaluer l'efficacité de l'IA pour noter
Table des matières

Noter les Devoirs est super important dans n'importe quel cours de physique. Les profs regardent souvent comment les élèves résolvent les problèmes, pas juste les réponses finales. C'est parce que comprendre les étapes pour arriver à une conclusion aide les profs à voir comment les élèves comprennent les concepts. Mais, donner des retours vraiment utiles sur les travaux écrits des élèves prend beaucoup de temps et d’effort. Actuellement, noter les réponses finales peut se faire par des ordi, mais examiner les Solutions écrites nécessite un œil humain.

La Solution IA

Une étude intéressante a examiné si un outil IA pouvait aider à noter les solutions écrites dans les cours de physique. Plus précisément, elle a testé à quel point GPT-4, un modèle IA avancé, pouvait aider à noter ces devoirs. Les résultats ont montré que même si l'IA pouvait donner des retours utiles pour apprendre, on ne devrait pas lui faire entièrement confiance pour des examens à enjeux élevés comme les examens finaux.

L'Ascension de GPT-4

À la fin de 2022, GPT-4 est devenu bien connu pour ses capacités. Cet outil peut avoir des conversations et générer du texte qui semble assez humain. Il fonctionne en prédisant le prochain mot d'une phrase selon ses données d'entraînement, qui incluent une grosse quantité de textes provenant de diverses sources. Bien que principalement centré sur le texte, GPT-4 peut désormais traiter des images aussi, ce qui ouvre de nouvelles possibilités pour noter des devoirs manuscrits.

Noter des Problèmes de Physique

L'idée d'utiliser l'IA pour noter des problèmes de physique n'est pas nouvelle. Traditionnellement, les systèmes IA devaient être entraînés spécifiquement pour des problèmes individuels, ce qui limitait leur efficacité. Cependant, GPT-4 a été formé sur un large éventail de sujets, lui permettant d’évaluer des problèmes qu’il n’a jamais vus auparavant. Cette capacité est importante car résoudre des problèmes de physique nécessite un mélange de réflexion logique et de compétences mathématiques.

Étapes pour la Notation par l'IA

La méthode proposée pour utiliser l'IA dans la notation implique plusieurs étapes. D'abord, les élèves peuvent écrire leurs solutions sur papier, ce que beaucoup trouvent plus facile que de taper des équations mathématiques complexes. Les solutions manuscrites sont ensuite scannées dans un ordi. Ensuite, l'IA lit ces scans et les convertit dans un format qu'elle peut comprendre. La notation réelle est effectuée par l'IA, qui peut passer par plusieurs rondes d'évaluation et signaler les réponses qui nécessitent une révision.

Solutions Manuscrites vs. Taper

Beaucoup d'élèves trouvent ça galère de taper des maths, surtout quand ils utilisent des logiciels conçus pour les équations. Écrire sur papier permet une résolution de problèmes plus naturelle, surtout lors des examens où les élèves sont surveillés par des profs. Le processus de notation des travaux manuscrits avec l'IA pourrait simplifier les retours pour les élèves, permettant des évaluations plus rapides.

Génération de Solutions Exemples

Pour tester à quel point GPT-4 pouvait noter, l'étude a généré des solutions exemples à un problème spécifique de physique. Comme ça, ils pouvaient voir comment l'IA notait différentes réponses. Certaines réponses étaient très bonnes, tandis que d'autres n'étaient pas au top. Cette diversité a offert des aperçus sur la performance de l'IA pour reconnaître les bonnes et mauvaises approches.

Qualité de la Notation

En notant ces solutions, GPT-4 a donné des notes selon différents critères, comme la justesse et la clarté de la réponse. Le système a aussi fourni des retours brefs sur chaque solution. Les résultats ont montré que GPT-4 pouvait identifier de manière fiable les réponses clairement correctes ou incorrectes. Cependant, il donnait souvent des notes plus élevées qu'un prof humain.

Précision des Retours

Les retours donnés par GPT-4 étaient majoritairement crédibles mais parfois comportaient des erreurs. Par exemple, l'IA pouvait suggérer qu'une réponse correcte était fausse ou vice versa. Ça montre une limite à l'utilisation de l'IA pour la notation parce que les élèves pourraient recevoir des messages qui les induisent en erreur sur leur compréhension du sujet.

Notation Humaine vs. IA

Quand on compare comment les humains notaient par rapport à l'IA, il y avait une corrélation claire dans les résultats. Les notes étaient similaires pour les réponses jugées correctes ou incorrectes. Cependant, l'IA a souvent noté les solutions plus haut que le correcteur humain. Cette différence pourrait soulever des inquiétudes sur l'inflation des notes, où les élèves croient avoir mieux réussi qu'ils ne l'ont réellement.

Regroupement des Solutions

En analysant les réponses, l'étude a regroupé les solutions selon leur performance. Ce regroupement a aidé à identifier quelles réponses étaient similaires dans leur approche et leur qualité. Bien que l'IA ait reconnu certains schémas, l'efficacité variait. La notation manuelle montrait des groupes cohérents, mais la méthode de regroupement de l'IA était moins informative.

Utilisation Potentielle de l'IA dans l'Apprentissage

Bien qu'il ne soit pas conseillé de se fier à l'IA pour noter des examens à enjeux élevés, ces outils peuvent encore jouer un rôle dans l'apprentissage. Par exemple, si les élèves utilisent l'IA pour revoir leur travail, ils peuvent recevoir des retours instantanés. Cela peut les guider pour améliorer leur compréhension des concepts avant de soumettre leurs devoirs pour une notation formelle.

Limites de l'IA

Malgré des promesses, l'IA a encore du mal avec les calculs et à fournir des retours fiables. Des erreurs dans les calculs symboliques et numériques peuvent induire les élèves en erreur. Cela signifie que même si l'IA peut aider dans le processus d'apprentissage, les élèves doivent aussi évaluer de manière critique les retours de l'IA pour s'assurer qu'ils saisissent bien les concepts.

Directions Futures

Cette étude n'est qu'un aperçu de ce que la notation par IA peut faire. Plus de recherches sont nécessaires pour explorer comment différents systèmes IA pourraient performer et comment ils pourraient être appliqués dans des contextes de classe réels. L'accès à des technologies plus avancées pourrait aussi mener à de meilleurs résultats dans la conversion des devoirs manuscrits en formats numériques.

Conclusion

L'utilisation d'outils IA comme GPT-4 pour noter les devoirs de physique montre un grand potentiel pour aider les éducateurs à fournir des retours et un soutien aux élèves. Bien que l'IA puisse identifier de manière efficace des réponses clairement justes ou fausses, elle ne répond pas actuellement à la fiabilité requise pour noter des évaluations significatives. Au lieu de cela, il y a un potentiel pour l'IA de compléter la notation humaine en triant les solutions et en fournissant des notes préliminaires. À mesure que la technologie continue de se développer, l'intégration de l'IA dans les milieux éducatifs pourrait évoluer, offrant de nouvelles façons d'améliorer l'apprentissage et l'évaluation. Cependant, les élèves doivent rester critiques quant aux retours qu'ils reçoivent pour s'assurer qu'ils sont sur la bonne voie dans leurs études.

Source originale

Titre: Can an AI-tool grade assignments in an introductory physics course?

Résumé: Problem solving is an integral part of any physics curriculum, and most physics instructors would likely agree that the associated learner competencies are best assessed by considering the solution path: not only the final solution matters, but also how the learner arrived there. Unfortunately, providing meaningful feedback on written derivations is much more labor and resource intensive than only grading the outcome: currently, the latter can be done by computer, while the former involves handwritten solutions that need to be graded by humans. This exploratory study proposes an AI-assisted workflow for grading written physics-problem solutions, and it evaluates the viability of the actual grading step using GPT-4. It is found that the AI-tool is capable of providing feedback that can be helpful in formative assessment scenarios, but that for summative scenarios, particularly those that are high-stakes, it should only be used for an initial round of grading that sorts and flags solution approaches.

Auteurs: Gerd Kortemeyer

Dernière mise à jour: 2023-04-21 00:00:00

Langue: English

Source URL: https://arxiv.org/abs/2304.11221

Source PDF: https://arxiv.org/pdf/2304.11221

Licence: https://creativecommons.org/licenses/by/4.0/

Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.

Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.

Plus de l'auteur

Articles similaires