Évaluation des grands modèles de langage en théorie de l'informatique

Les grands modèles de langage (LLMs) ont montré du potentiel dans plein de domaines, mais ils galèrent avec les maths, surtout dans un cours de théorie de l'informatique (ToC). Cet article examine si ces modèles peuvent s'en sortir dans un tel cours, qui est requis pour beaucoup de diplômes en informatique. Le focus est sur deux expériences menées pour évaluer les capacités des LLMs dans ce domaine.

#Contexte sur la Théorie de l'Informatique

Un cours de théorie de l'informatique couvre généralement divers sujets, y compris les langages formels, les automates et la calculabilité. Les étudiants doivent rédiger des preuves précises et comprendre des concepts complexes. Avec l'éducation qui intègre de plus en plus de technologie, il est essentiel d'explorer comment les LLMs, comme ChatGPT, peuvent contribuer à l'apprentissage dans ce domaine.

#Expérience Un : Performance aux Examens

La première expérience a évalué comment un LLM pouvait performer sur de vrais examens d'un cours de ToC. Les examens étaient conçus pour tester des connaissances sur des sujets spécifiques de manière standard, similaire à ce que les étudiants humains rencontreraient.

#Structure des Examens

Les évaluations du cours étaient décomposées en plusieurs composants :

• Rapport de recherche : 450 points
• Deux examens de mi-parcours : 200 points au total
• Présentation de groupe : 100 points
• Examen final : 250 points

Les examens couvraient des sujets comme les langages réguliers, les langages sans contexte, les machines de Turing et la NP-Complétude. Chaque examen était conçu pour tester des connaissances de base ainsi qu'une compréhension plus approfondie.

#Méthode de Notation

Les réponses du modèle étaient notées selon un barème strict, similaire à celui des étudiants humains. Les notes allaient de 0 à 4, en fonction de la complétude et de la justesse des réponses. Une note de 4 indiquait une réponse complètement correcte, tandis qu'une note de 0 signifiait que la réponse était totalement incorrecte.

#Résultats de l'Expérience Un

Après avoir passé les examens, le LLM a obtenu plus de 80 % en moyenne, atteignant jusqu'à 93 % après avoir essayé à nouveau des Questions avec des indices. Cela place sa note initiale à un B- et après les tentatives supplémentaires, à un A-. Cette performance montre que même si le LLM était compétent pour les connaissances de base, il avait du mal avec des preuves plus complexes et le raisonnement.

#Expérience Deux : Base de Données de Questions

La deuxième expérience impliquait un éventail plus large de questions pour voir à quel point le LLM pouvait répondre à des requêtes typiques de ToC. Cette approche donnerait un aperçu de sa performance sur divers sujets, pas seulement ceux couverts dans les examens.

#Création de la Base de Données de Questions

Un ensemble de 450 questions a été développé, couvrant les sujets principaux en ToC. Ces questions ont été divisées en catégories : vrai/faux, choix multiple et questions de preuve ouvertes. L'objectif était de créer un échantillon représentatif de ce que les étudiants de différentes institutions pourraient rencontrer.

#Processus de Test

Chaque question a été présentée au LLM avec un prompt cohérent, lui demandant de répondre en fonction de ses connaissances théoriques. Il a ensuite été noté à nouveau en utilisant le même barème que dans la première expérience.

#Résultats de l'Expérience Deux

Dans le deuxième test, le modèle a obtenu une moyenne de 85 %, avec un détail de 91.5 % sur les questions vrai/faux, 87.3 % sur les questions à choix multiple et 78.8 % sur les questions de preuve. Les données ont révélé que même si le LLM performait bien sur des requêtes simples, il trouvait les questions de type preuve plus difficiles.

#Discussion des Résultats

Un examen attentif des résultats des deux expériences montre que les LLMs ont des capacités utiles mais rencontrent aussi des défis significatifs.

#Aperçus de Performance

Le LLM excellait dans les définitions de base et les problèmes algorithmiques, mais avait souvent des difficultés avec des questions nécessitant une compréhension plus profonde et des structures de preuve formelles. Par exemple, il avait des difficultés lorsque les questions nécessitaient un raisonnement subtil ou exigeaient de considérer plusieurs cas.

#Problèmes avec les Réponses Ouvertes

Pour les questions ouvertes, le LLM faisait parfois des affirmations absurdes. Si le modèle n'avait pas rencontré un problème similaire auparavant, il pouvait donner des réponses incorrectes. Ça veut dire que même s'il peut apprendre des données précédentes, il n'est pas encore capable de généraliser ce savoir à de nouveaux problèmes très bien.

#Besoin de Clarification

Le LLM montrait aussi une tendance à mal interpréter les prompts. Parfois, il avait besoin de clarification avant de pouvoir donner une bonne réponse. Une simple reformulation ou orientation aidait souvent à améliorer sa réponse, ce qui indique que de meilleurs prompts pourraient améliorer sa performance.

#Implications pour les Éducateurs

Les résultats de ces expériences ont d'importantes implications pour l'enseignement et l'évaluation dans les programmes d'informatique.

#Recommandations pour la Conception de Cours

Vu que le LLM peut bien performer sur des questions standard, les éducateurs devraient envisager d'inclure des évaluations LLM dans leurs cours, tout en équilibrant cela avec des méthodes d'évaluation traditionnelles. Les examens en présentiel, sans documentation, pourraient encore être la meilleure façon de garantir la compréhension des concepts complexes par un étudiant.

#Interaction avec les LLMs

Une suggestion intéressante serait de faire interagir les étudiants avec le LLM en lui demandant de résoudre des problèmes. Ils pourraient ensuite critiquer ses réponses, les aidant à mieux comprendre le matériel tout en fournissant des retours précieux pour améliorer les interactions futures du LLM.

#Directions Futures

Des recherches supplémentaires pourraient étendre les tests à d'autres modèles et sujets dans la théorie de l'informatique. Cela pourrait inclure des domaines comme la complexité computationnelle, où les étudiants rencontrent historiquement des difficultés.

#Développement de LLMs Spécialisés

Un autre projet potentiel pourrait être de développer un LLM spécifiquement axé sur le contenu de ToC. Un tel modèle pourrait offrir des explications adaptées aux niveaux de premier cycle sans simplement fournir des réponses, promouvant ainsi l'apprentissage des étudiants.

#Conclusion

La recherche menée montre que les LLMs peuvent réussir un cours de théorie de l'informatique, obtenant des notes comparables à des étudiants humains typiques dans certaines conditions. Cependant, leur performance varie largement en fonction de la complexité des tâches et de la structure des questions. Comprendre ces forces et faiblesses est crucial pour les éducateurs qui cherchent à intégrer cette technologie dans les milieux académiques.