MathCAMPS : Une nouvelle approche pour évaluer les modèles de langage

La résolution de problèmes mathématiques est une compétence super importante pour les modèles de langage, qui sont des programmes informatiques capables de traiter et de générer du langage humain. Ces compétences montrent non seulement la capacité du modèle à résoudre des problèmes mathématiques, mais aussi ses capacités de raisonnement. Les tests actuels évaluent différentes compétences en Raisonnement Mathématique, mais se concentrent sur la performance générale plutôt que sur des compétences spécifiques. Du coup, c'est compliqué de dire où les modèles peuvent briller ou galérer.

Un autre problème, c'est que ces tests sont difficiles à mettre à jour. Quand de nouveaux problèmes sont introduits, les repères existants peuvent devenir obsolètes ou contaminés par des données précédentes. Pour régler ces soucis, on présente MathCAMPS, une nouvelle approche pour générer des problèmes mathématiques de qualité basés sur des normes éducatives bien définies. Ces normes viennent du Mathematics Common Core, qui décrit ce que les élèves devraient apprendre de la maternelle à la huitième année.

En transformant ces normes en grammaire formelle, on peut créer divers problèmes mathématiques avec leurs réponses. Les modèles de langage transforment ensuite ces problèmes symboliques en problèmes en langage courant qui sont faciles à comprendre pour les élèves. On a aussi développé une méthode pour vérifier si ces problèmes générés représentent avec précision la question mathématique originale. Enfin, on crée des Questions de suivi pour tester une compréhension plus profonde, ce qui rend MathCAMPS un outil unique pour évaluer le dialogue mathématique.

#L'Importance du Raisonnement Mathématique

Le raisonnement mathématique est une référence clé pour évaluer les compétences des modèles de langage avancés. C'est essentiel pour de nombreuses tâches importantes, comme répondre à des questions scientifiques et analyser des données. Du coup, plusieurs repères comme GSM8K et MATH sont devenus populaires pour évaluer les progrès des modèles de langage. Mais juste regarder les scores globaux ne révèle pas quelles compétences spécifiques un modèle a améliorées ou sur lesquelles il doit travailler.

Par exemple, en comparant GPT-4 et GPT-3, la version plus récente montre une nette amélioration sur le dataset GSM8K ; cependant, il est difficile de déterminer si ce progrès vient d'une meilleure gestion de l'arithmétique, des fractions, ou de la compréhension de problèmes plus longs. Cette ambiguïté soulève des questions sur comment ces modèles apprennent et comment leur processus d'apprentissage se compare à celui des humains.

#Vue d'Ensemble de MathCAMPS

MathCAMPS vise à créer un grand nombre de problèmes mathématiques de qualité qui s'alignent avec les Normes du Common Core en mathématiques pour les classes K-8. Le Common Core sert de guide sur ce que les élèves devraient apprendre à chaque niveau scolaire, aidant à garantir des résultats éducatifs cohérents. En alignant nos problèmes avec ces normes, on facilite l'analyse des performances des modèles de langage par rapport à ce que les élèves apprennent.

#Création de Problèmes Mathématiques

Pour commencer, MathCAMPS utilise une grammaire qui représente les problèmes liés à des normes spécifiques. On génère divers problèmes symboliques et leurs solutions à partir de cette grammaire. Ces représentations symboliques sont ensuite transformées en problèmes en langage naturel par un modèle de langage. Pour s'assurer que les problèmes en langage courant générés sont précis, on applique un contrôle de cohérence, où on les traduit de nouveau en forme symbolique et on vérifie que les réponses restent les mêmes.

On crée aussi des questions de suivi qui modifient légèrement le problème original ou ajoutent de nouvelles informations. Cette addition teste la compréhension plus profonde du modèle sur le sujet.

#Résolution des Défis Existant

La méthode traditionnelle d'évaluation des modèles de langage sur des ensembles fixes de problèmes générés par des humains a ses limites. D'une part, ces modèles s'entraînent souvent sur de grands ensembles de données qui peuvent inclure les mêmes repères utilisés pour les tests, soulevant des préoccupations sur la contamination des données. De plus, il est difficile de distinguer des faiblesses spécifiques à travers des scores globaux, car les mathématiques englobent divers sujets et compétences.

MathCAMPS cherche à surmonter ces défis en fournissant un cadre où de nouveaux problèmes de haute qualité peuvent être générés de manière cohérente. En utilisant des normes reconnues à l'échelle nationale, on garantit aussi que nos évaluations sont pertinentes et alignées avec de réels objectifs éducatifs.

#Contributions Clés de MathCAMPS

• Génération de problèmes : On présente une méthode pour créer un nombre significatif de problèmes mathématiques en langage courant liés à des normes éducatives. Cela permet à l'ensemble de données d'être à la fois complet et facile à étendre à l'avenir.
• Méthode de Cohérence Cyclique : Cette technique valide si les problèmes en langage courant générés reflètent avec précision leur structure symbolique originale. En s'assurant que les réponses correspondent à travers les représentations, on peut maintenir une haute qualité dans nos résultats.
• Questions de Suivi : En introduisant une tâche novatrice consistant à poser des questions de suivi, on peut obtenir des insights sur la compréhension du modèle. Les questions défient les modèles à non seulement résoudre des problèmes, mais aussi à s'adapter aux changements dans la structure du problème.
• Évaluation des Modèles : On évalue une large gamme de modèles de langage en utilisant cet ensemble de données, révélant leurs forces et faiblesses. Nos résultats mettent en évidence que même les meilleurs modèles ont du mal à répondre aux questions de suivi, ce qui peut indiquer des lacunes dans leur compréhension.

#Travaux Connexes

MathCAMPS est étroitement lié aux repères existants pour évaluer le raisonnement mathématique dans les modèles de langage. Quelques exemples marquants incluent MATH et GSM8K, qui se composent entièrement de problèmes rédigés par des humains. Cependant, ces repères ont des limites, comme le fait d'être statiques et potentiellement contaminés par les données utilisées pour entraîner les modèles.

De plus, il y a eu des travaux précédents qui utilisent des modèles de langage pour aider à générer des repères. Certaines approches ont essayé de déterminer des tâches de raisonnement en utilisant un échafaudage symbolique, similaire à notre méthode. Notre travail va plus loin en se concentrant sur un large éventail de compétences en raisonnement mathématique directement liées à un cadre éducatif commun.

#Les Normes du Common Core

Les Normes d'État du Common Core pour les Mathématiques servent de base pour les problèmes que nous créons dans MathCAMPS. Ces normes, adoptées par de nombreux États aux États-Unis, décrivent les compétences que les élèves devraient maîtriser à chaque niveau scolaire.

Par exemple, une norme pourrait décrire la capacité à "comparer deux nombres entre 1 et 10", reflétant ce que les élèves de maternelle devraient apprendre. On a sélectionné 44 normes couvrant les niveaux K à 8 qui sont adaptées à la génération de problèmes et peuvent être résolues avec une réponse qui peut être représentée sous forme de texte.

#Représentation des Normes

Pour représenter ces normes de manière efficace, on utilise une approche structurée connue sous le nom de grammaire d'attribut. Cette méthode nous permet de définir des règles qui décrivent les structures de problèmes valides pour chaque norme. Chaque norme correspond à des équations spécifiques et nécessite certaines étapes logiques pour arriver à une solution.

En échantillonnant des problèmes à partir de cette grammaire, on s'assure que tous les problèmes générés sont pertinents et respectent les exigences éducatives établies par le Common Core.

#Assurer la Qualité des Problèmes

Lors de la création de problèmes, il est impératif de garantir que chaque énoncé inclus est essentiel pour résoudre le problème. Pour y parvenir, on utilise un algorithme de graphe de dépendance qui filtre les énoncés inutiles. Chaque norme a également des contraintes uniques que nous devons respecter, garantissant que les problèmes générés sont non seulement valides mais aussi conformes aux normes éducatives spécifiées.

#Transformer les Problèmes Symboliques en Problèmes en Langage Courant

La prochaine étape du pipeline MathCAMPS est de convertir les problèmes symboliques en problèmes en langage compréhensible. Ce processus implique d'utiliser un modèle de langage pour créer des récits qui encapsulent les concepts mathématiques tout en restant engageants et accessibles pour les élèves.

Lors de la génération de ces problèmes, on fournit au modèle quelques exemples de problèmes existants pour guider ses réponses. Cela facilite une gamme diversifiée d'options linguistiques et évite les limitations des modèles fixes.

Pour maintenir la qualité de ces problèmes générés, on applique à nouveau la méthode de cohérence cyclique. En demandant au modèle de traduire le problème en langage courant généré de nouveau en forme symbolique et en comparant les réponses, on peut identifier et rejeter des représentations faussées.

#Création de Questions de Suivi

En accord avec les pratiques éducatives, on génère des questions de suivi pour examiner la compréhension plus approfondie du matériel. Ces questions peuvent être classées en deux catégories : contre-factuelles et incrémentales.

Les questions contre-factuelles changent un détail spécifique dans le problème original, tandis que les questions incrémentales ajoutent de nouvelles informations. En appliquant ces différences, on crée de nouveaux problèmes qui testent la capacité du modèle à adapter sa compréhension en fonction de la solution initiale.

Pour garantir l'exactitude des questions de suivi, on utilise à nouveau la technique de prompt à quelques exemples, s'assurant que le modèle traduit ces questions de suivi avec précision en fonction des modifications apportées.

#Évaluation des Modèles de Langage avec MathCAMPS

On a testé 23 modèles de langage différents en utilisant l'ensemble de données MathCAMPS. Chaque modèle a été évalué sur sa capacité à résoudre les problèmes donnés et à répondre avec précision aux questions de suivi. Les résultats ont révélé des lacunes surprenantes en matière de performance, même parmi les modèles avancés.

#Tendances Globales de Performance

On a analysé à la fois la précision globale et la performance à travers différents niveaux scolaires. Cela a permis d'obtenir des insights sur la façon dont les modèles de langage se comparent aux normes du Common Core. Fait intéressant, les modèles qui ont obtenu des scores globaux similaires ont montré des différences significatives lorsqu'ils ont été évalués sur des compétences spécifiques.

Par exemple, alors qu'un modèle pourrait exceller à manipuler des fractions, un autre pourrait galérer malgré des performances globales comparables. Cette variabilité souligne l'importance des méthodologies d'évaluation nuancées que ces scores agrégés ne capturent pas efficacement.

#Comprendre les Forces et Faiblesses des Modèles

Un des principaux enseignements de notre évaluation était que le classement des modèles change souvent en fonction des compétences spécifiques évaluées. Dans de nombreux cas, un modèle pourrait performer exceptionnellement bien dans un domaine tout en étant moins performant dans un autre, mettant en lumière ses forces et faiblesses uniques.

De plus, les résultats ont indiqué que la précision tend à diminuer lorsque les modèles sont confrontés à des questions de suivi. Cela a révélé un manque de robustesse, surtout pour les modèles qui ont initialement résolu correctement le principal problème. Les questions de suivi exigeaient souvent des périodes d'attention plus longues et une compréhension plus profonde, ce que de nombreux modèles avaient du mal à maintenir.

#Analyse des Dynamiques d'Apprentissage

On a aussi étudié les dynamiques d'apprentissage d'un modèle spécifique, Pythia 12B, tout au long de ses étapes de formation. En suivant les performances de ce modèle à travers divers checkpoints, on a identifié comment des compétences mathématiques spécifiques se sont développées au fil du temps.

Cette analyse a montré qu'au début de la formation, le modèle performait mieux sur des tâches plus simples de niveau maternelle. Au fur et à mesure de la progression de la formation, il a commencé à démontrer une maîtrise des sujets plus avancés, mettant en évidence une corrélation entre les capacités linguistiques et mathématiques du modèle.

#Conclusion et Directions Futures

MathCAMPS fournit un repère synthétique et finement détaillé pour le raisonnement mathématique dans les modèles de langage. En liant des problèmes à des normes éducatives largement acceptées, on peut analyser les capacités de raisonnement des modèles de manière plus efficace. Les résultats révèlent des domaines distincts où les modèles éprouvent des difficultés, en particulier avec les questions de suivi, ce qui peut guider les améliorations futures dans la conception et la formation des modèles.

En regardant vers l'avenir, MathCAMPS a le potentiel non seulement à évaluer des modèles mais aussi à développer des outils éducatifs pour les élèves. Les travaux futurs pourraient se concentrer sur l'alignement approprié du niveau de difficulté des problèmes avec chaque niveau et ensemble de compétences.

Notre cadre peut facilement être étendu pour couvrir des normes éducatives supplémentaires, y compris des sujets plus avancés. Cependant, étendre la portée à des problèmes conceptuels qui nécessitent des explications approfondies reste un défi significatif.

En résumé, MathCAMPS représente un pas en avant dans la compréhension de la manière dont les modèles de langage traitent le raisonnement mathématique et ouvre la porte à des évaluations plus nuancées et à des applications éducatives.