Évaluer la compréhension de ChatGPT sur des concepts de physique

ChatGPT est un logiciel qui discute comme un humain. Sa capacité à répondre à des Questions et à aider avec diverses tâches a lancé des débats sur son impact dans l'éducation, surtout dans des domaines comme le business, le droit et la science. Cet article examine si ChatGPT peut répondre efficacement à des questions de physique basiques, notamment en utilisant un test appelé le Force Concept Inventory (FCI).

#Qu'est-ce que ChatGPT ?

ChatGPT est une forme d'intelligence artificielle qui utilise des modèles issus d'une grande quantité de texte pour générer des réponses. Il est conçu pour le traitement du langage naturel, ce qui signifie qu'il peut Comprendre et produire du texte qui sonne humain. Il existe différentes versions de ChatGPT, avec ChatGPT3.5 disponible pour le public et ChatGPT4, une version plus avancée qui nécessite un abonnement.

#Évaluation des connaissances en physique de ChatGPT

Pour voir à quel point ChatGPT comprend la physique, nous avons administré une version modifiée du Force Concept Inventory (FCI), qui teste la compréhension des concepts de base comme le mouvement, les forces et l'énergie. On a utilisé deux versions différentes de ChatGPT pour comparer.

#Force Concept Inventory (FCI)

Le FCI consiste en un ensemble de questions qui se concentrent sur la compréhension des concepts fondamentaux de la physique plutôt que sur la résolution de problèmes numériques. Il a été créé pour aider à distinguer les élèves qui saisissent vraiment les concepts de ceux qui mémorisent simplement des réponses ou des formules. Les questions couvrent des sujets du premier semestre d'un cours typique de physique.

#Modification du FCI pour ChatGPT

En préparant les questions pour ChatGPT, nous avons dû les changer car certaines dépendaient de diagrammes visuels, que ChatGPT ne peut pas interpréter puisqu'il ne traite que du texte. On a modifié ces questions pour maintenir leur intention sans fournir d'aides visuelles que ChatGPT ne pourrait pas comprendre.

Par exemple, les questions sur une balle attachée à une corde ont été reformulées pour décrire le mouvement avec des mots, sans donner d'indices supplémentaires pour faciliter la réponse de ChatGPT.

#Administration du FCI à ChatGPT

Lorsqu'on a d'abord testé ChatGPT3.5, il a répondu à 23 questions modifiées du FCI. Chaque question était posée clairement, et on a demandé à ChatGPT de fournir une réponse avec une brève explication de son raisonnement.

#Analyse des performances de ChatGPT3.5

ChatGPT3.5 a répondu correctement à environ 15 des 23 questions. Sa performance était similaire à celle d'un étudiant universitaire ayant complété un semestre de physique. En comparant avec les performances typiques des étudiants au FCI, ChatGPT3.5 était au moins au même niveau, sinon un peu mieux.

En ce qui concerne les explications de ses réponses, ChatGPT3.5 a montré un raisonnement impressionnant, identifiant correctement les forces et les mouvements dans des situations simples. Cependant, il a aussi fait des erreurs, confondant parfois des concepts ou ne les appliquant pas correctement.

#Réponses libres de ChatGPT3.5

Lorsqu'on lui a demandé d'expliquer ses réponses, ChatGPT3.5 a fourni des justifications correctes pour plusieurs questions. Par exemple, lorsqu'on a posé des questions sur une balle lancée verticalement, il a correctement indiqué que la seule force agissant sur elle après qu'elle quitte la main est la gravité.

Cependant, dans certains cas, ChatGPT3.5 a donné des réponses presque correctes mais contenant des petites erreurs qu'un expert ne ferait pas. Par exemple, il pourrait identifier correctement une force mais mal décrire sa nature ou sa direction, ce qui entraînait des inexactitudes dans ses explications.

#Analyse des performances de ChatGPT4

Lorsque nous avons ensuite testé la version plus avancée de ChatGPT4, sa performance s'est améliorée de manière significative. Il a presque toutes les questions répondues correctement, montrant une meilleure compréhension des concepts Physiques sous-jacents. Contrairement à ChatGPT3.5, ChatGPT4 n'a pas eu de mal avec les questions nécessitant un raisonnement spatial et a fourni des réponses claires et précises.

En termes d'explications, ChatGPT4 était concis et précis, donnant souvent un raisonnement correct pour ses choix. Par exemple, lorsqu'on lui a posé des questions sur le comportement d'un ascenseur, il a correctement indiqué que la force vers le haut doit être égale à la force vers le bas lorsqu'il se déplace à une vitesse constante.

#Stabilité des réponses

On a aussi examiné à quel point les réponses de ChatGPT étaient cohérentes lorsqu'on lui posait la même question plusieurs fois. ChatGPT3.5 a montré qu'il pouvait donner des réponses différentes pour des questions où il était confus. Cependant, lorsqu'il était confiant sur une réponse, il avait tendance à répéter cette réponse de manière fiable.

ChatGPT4, en revanche, n'a pas modifié ses réponses de manière significative, montrant un niveau de stabilité supérieur dans l'ensemble. Cela suggère qu'il avait une meilleure compréhension des concepts testés.

#Tester ChatGPT comme un étudiant novice

Pour comprendre à quel point ChatGPT pouvait imiter un étudiant novice, on lui a présenté un ensemble de questions similaires mais en lui demandant de répondre comme s'il n'avait pas étudié la physique. L'idée était de voir s'il pouvait projeter les processus de pensée typiques de quelqu'un qui apprend juste ces concepts.

ChatGPT3.5 a relativement bien réussi, fournissant des réponses correspondant parfois à celles d'étudiants novices. Il a montré une certaine sensibilisation aux concepts de base mais a tout de même tendance à donner des réponses reflétant une certaine compréhension de la physique plutôt qu'une pure intuition.

En revanche, ChatGPT4 a échoué dans cette tâche, fournissant constamment des réponses correctes même lorsqu'on lui demandait de penser comme un débutant. Il évitait principalement de nommer des concepts comme les lois de Newton, mais son raisonnement laissait tout de même suggérer une compréhension plus profonde que celle d'un novice.

#Implications pour l'éducation

Les résultats des tests sur ChatGPT soulèvent des questions sur son rôle dans l'éducation. Si les élèves peuvent utiliser des outils comme ChatGPT pour aider avec leurs devoirs ou leur préparation aux examens, cela pourrait changer la manière dont les éducateurs abordent l'enseignement et l'évaluation de la compréhension des élèves en physique.

#ChatGPT comme outil d'étude

Bien que ChatGPT3.5 puisse offrir un mélange de réponses correctes et incorrectes, il pourrait servir d'outil complémentaire pour que les étudiants pratiquent leur compréhension. Cependant, s'appuyer sur ChatGPT4 pourrait poser des défis, car il pourrait fournir des réponses qui manquent de l'incertitude à laquelle les débutants font face en apprenant.

#L'importance de la compréhension conceptuelle

La distinction entre résoudre des problèmes et comprendre réellement les concepts est cruciale. ChatGPT a démontré une capacité à traiter et à répondre à des questions de physique d'une manière qui imite la compréhension. Pourtant, cela ne s'équilibre pas avec une véritable compréhension, qui est essentielle pour les élèves à mesure qu'ils progressent dans leurs études.

#Conclusion

ChatGPT montre un potentiel pour imiter des réponses qui projettent une compréhension de la physique d'introduction. ChatGPT3.5 performe comparativement à un étudiant typique, tandis que ChatGPT4 démontre la capacité de répondre comme un expert. Cependant, l'incohérence et les erreurs dans les réponses illustrent que, bien que ChatGPT puisse générer des réponses plausibles, il ne possède pas une réelle compréhension.

À mesure que la technologie avance, des outils comme ChatGPT joueront probablement un rôle plus important dans l'éducation, que ce soit comme assistants d'étude ou dans des environnements de classe. Les défis qu'ils posent concernant l'intégrité académique et la véritable compréhension sont des facteurs que les éducateurs doivent soigneusement considérer en intégrant de tels outils dans les environnements d'apprentissage.

Des recherches supplémentaires sur les capacités éducatives et les limitations de l'IA seront nécessaires à mesure que ces systèmes évoluent et deviennent plus ancrés dans le paysage académique.