Que signifie "MMLU-Pro"?
Table des matières
MMLU-Pro est un nouveau test conçu pour vérifier à quel point les modèles de langage peuvent comprendre et raisonner avec la langue. Il s'appuie sur un test précédent appelé MMLU, qui était utile mais avait certaines limites.
Pourquoi MMLU-Pro a été créé
Avec l'amélioration des modèles de langage, il est devenu difficile de voir les différences dans leurs compétences avec l'ancien test. MMLU-Pro vise à résoudre ce problème en rendant les questions plus difficiles et en ajoutant plus de choix de réponses, passant de quatre options à dix. Ça va mieux montrer comment ces modèles se débrouillent vraiment.
Caractéristiques clés de MMLU-Pro
- Questions Plus Difficiles: MMLU-Pro comprend des questions plus difficiles qui nécessitent une réflexion plus profonde.
- Plus de Choix: Au lieu de juste quatre réponses, il y a maintenant dix options à choisir.
- Résultats Plus Clairs: Le nouveau test élimine les questions faciles ou confuses de l'ancien test, ce qui conduit à des mesures de performance plus claires.
Ce Qu'on a Appris de MMLU-Pro
Quand les modèles ont passé le test MMLU-Pro, leurs scores ont chuté de manière significative par rapport au test MMLU d'origine. Ça montre que c'est beaucoup plus difficile. En plus, les modèles qui utilisent une méthode appelée Chain of Thought (CoT) ont mieux réussi avec MMLU-Pro, ce qui suggère que le nouveau test pose des questions plus complexes.
En résumé, MMLU-Pro est une façon plus ciblée de suivre comment les modèles de langage s'améliorent et comprennent mieux la langue.