NLPBench : Évaluation des grands modèles de langage

Les récents développements dans les modèles de langage de grande taille (LLMs) ont montré qu'ils pouvaient améliorer de manière significative le traitement du langage naturel (NLP). Cependant, il n'y a pas eu assez de recherches sur la façon dont ces modèles peuvent résoudre des problèmes liés au NLP. Pour y remédier, on a créé un nouveau dataset de référence appelé NLPBench. Ce dataset contient 378 questions qui nécessitent des connaissances de niveau universitaire sur divers sujets de NLP, tirées des examens finaux de l'Université de Yale.

NLPBench comprend différents types de questions, comme des choix multiples, des réponses courtes et des problèmes de maths. Certaines questions ont un contexte, ce qui signifie qu'elles viennent avec des infos qui aident à répondre à plusieurs questions connexes en même temps. Notre évaluation porte sur plusieurs LLMs, comme GPT-3.5, GPT-4, PaLM-2 et LLAMA-2, en utilisant différentes techniques pour les interroger.

#Le besoin de NLPBench

Au cours de la dernière décennie, les LLMs sont devenus une grande partie du domaine du NLP. Ils ont montré de bonnes performances dans beaucoup de tâches nécessitant des compétences comme la compréhension de lecture et le raisonnement mathématique, parfois même mieux que les humains. Cependant, une question cruciale reste : ces modèles peuvent-ils vraiment répondre à des questions liées au NLP lui-même ?

Pour mieux évaluer les LLMs dans ce contexte, on a conçu NLPBench, qui vise spécifiquement à évaluer leur capacité à traiter des questions liées au NLP. Le dataset couvre plusieurs domaines du NLP, comme la modélisation de langue, l'analyse syntaxique, la sémantique et la récupération d'information.

#Structure de NLPBench

NLPBench se compose de 378 questions catégorisées selon différents sujets de NLP. Les sujets incluent :

• Modélisation de langue et analyse syntaxique
• Sémantique et logique
• Pragmatique, discours, dialogue et applications
• Récupération d'information et modélisation de sujets
• Intelligence artificielle et autres sujets

Chaque type de question est conçu pour évaluer différentes capacités des LLMs. Les questions avec contexte demandent au modèle de comprendre et de répondre en fonction des informations partagées, tandis que celles sans contexte se concentrent sur la réponse à une seule question.

#Caractéristiques du dataset

1. Inclusion de problèmes liés au NLP : Les questions exigent une solide compréhension des concepts de NLP pour être résolues efficacement.
2. Inclusion de solutions détaillées : Chaque problème inclut des solutions détaillées pour permettre une évaluation approfondie de la performance des LLM.
3. Inaccessibilité : Les questions ont été soigneusement sélectionnées pour s'assurer qu'elles ne pouvaient pas être facilement trouvées en ligne, évitant tout biais dans l'évaluation.
4. Structure complexe : Beaucoup de questions ont plusieurs parties liées qui nécessitent un raisonnement attentif pour saisir la relation entre elles.

#Traitement des données

Les questions dans NLPBench étaient initialement disponibles sous forme de texte et d'images. On a utilisé un outil à base web pour les convertir en texte brut et en documents LaTeX. Des annotateurs humains ont vérifié chaque problème pour s'assurer de la qualité et de la justesse. On a classé les questions en trois formats principaux : réponses courtes, choix multiples et maths.

Chaque question a été attribuée à une réponse correcte pour l'évaluation. Pour les problèmes de maths, on a documenté les étapes nécessaires pour atteindre la réponse, ce qui sert de guide pour les LLMs.

#Statistiques du dataset

Sur les 378 questions du dataset NLPBench, on a :

• 192 questions à réponse courte
• 159 questions à choix multiples
• 27 questions de maths

Les questions sont également catégorisées selon qu'elles ont ou non un contexte.

#Configuration de l'expérience

On a testé des modèles en ligne et open-source avec notre dataset. Les modèles évalués incluent GPT-3.5, GPT-4, PaLM-2 et les deux versions de LLAMA-2.

On a utilisé différentes méthodes pour interroger les modèles, y compris le prompting zéro-shot, où le modèle ne s'appuie sur aucun exemple précédent, et le prompting few-shot, où quelques exemples sont fournis pour guider le modèle. On a aussi testé des stratégies avancées comme le prompting chaîne de pensée (CoT) et arbre de pensée (ToT).

#Prompting zéro-shot et few-shot

• Le prompting zéro-shot teste la capacité intrinsèque du modèle à résoudre des problèmes, puisqu'il n'a pas d'exemples sur lesquels se baser.
• Le prompting few-shot inclut des exemples dans l'entrée pour aider le modèle à en tirer des leçons.

#Résultats et analyse

On a analysé les résultats de GPT-3.5, GPT-4, PaLM-2 et LLAMA-2, en se concentrant sur leur performance à répondre aux questions. Voici quelques résultats clés :

#Performance des modèles

GPT-4 a constamment surpassé les autres modèles dans la plupart des catégories. Dans de nombreux cas, il a obtenu une précision bien plus élevée comparée à LLAMA-2, surtout quand aucune stratégie de prompting avancée n'était appliquée. Cependant, on a constaté que les stratégies de prompting avancées n'aboutissaient pas toujours à de meilleurs résultats et parfois même dégradaient la performance.

#Prompting few-shot

Les résultats montrent que le prompting few-shot n'améliore pas toujours la performance. Il y a eu des cas où l'utilisation de quelques exemples a conduit à des améliorations légères, voire à une diminution de la précision. Cela suggère que l'efficacité du prompting few-shot dépend de la qualité des exemples choisis.

#Cohérence des stratégies de prompting avancées

L'utilisation de stratégies de prompting avancées a montré des résultats variés. Par exemple, si le CoT a légèrement aidé GPT-3.5, cela a eu l'effet opposé sur d'autres modèles. Cette incohérence illustre la nécessité de bien réfléchir au moment et à la façon d'appliquer ces stratégies.

#Évaluation de la pertinence du texte

Pour évaluer à quel point les réponses générées correspondaient aux bonnes réponses, on a utilisé des métriques comme BLEU, ROUGE-L et CIDEr. Ces métriques aident à évaluer comment la réponse du modèle s'aligne avec la réponse attendue. On a constaté que, bien que certains modèles aient obtenu de bons scores sur ces métriques, leur précision en termes de réponses réelles pouvait encore être faible.

#Analyse des erreurs

Pour mieux comprendre où les modèles rencontrent des difficultés, on a fait une analyse des erreurs en se concentrant sur deux capacités clés :

1. Compréhension du traitement du langage naturel : On a mis en avant les erreurs commises par différents modèles, en suivant leur performance à travers diverses catégories de NLP.
2. Capacité à résoudre des problèmes de niveau universitaire : On a classé les erreurs faites par les modèles et identifié plusieurs raisons des erreurs.

#Compétences identifiées manquantes dans les modèles

On a évalué sept compétences clés de résolution de problèmes qui faisaient défaut aux modèles :

• Décomposition logique et analyse : Décomposer les questions en éléments plus simples et comprendre leurs relations.
• Identification des hypothèses : Reconnaître les hypothèses dans une question qui sont nécessaires pour des réponses précises.
• Raisonnement causal : Comprendre les relations de cause à effet.
• Compétences en déduction de problèmes : Inférer des solutions potentielles à partir des informations données.
• Raisonnement abstrait : Comprendre des concepts complexes et reconnaître des schémas.
• Raisonnement logique : Formuler des arguments raisonné et identifier les incohérences.
• Calcul : Effectuer des opérations mathématiques avec précision.

Ces résultats révèlent un lien fort entre la capacité à répondre correctement et les compétences en raisonnement logique et décomposition.

#Travaux connexes

Les benchmarks précédents se sont principalement concentrés sur l'évaluation des capacités générales des modèles. Par exemple, des datasets comme SQuAD et GLUE évaluent la compréhension de lecture et la compréhension du langage naturel. Cependant, la plupart n'ont pas porté sur la communication multipoints, qui est un aspect clé de notre NLPBench.

#Conclusion

L'introduction de NLPBench représente une étape essentielle pour évaluer les capacités des LLMs spécifiquement dans le contexte de la résolution de problèmes liés au NLP. Le dataset offre une gamme complète de questions qui demandent aux modèles de s'engager dans des conversations multipoints.

En résumé, on a trouvé que des méthodes de prompting plus simples donnent souvent de bons résultats. Bien que le prompting few-shot puisse être bénéfique, il n'est pas toujours nécessaire et peut encombrer le prompt avec des infos inutiles. Il y a aussi un besoin de former les modèles plus efficacement pour améliorer leurs compétences en raisonnement logique, en particulier dans les domaines de la déduction de problèmes et du raisonnement logique.

#Recommandations

1. Utiliser des méthodes de prompting simples : Les méthodes basiques donnent souvent des résultats prometteurs sans complexité supplémentaire.
2. Éviter de surutiliser des stratégies de prompting avancées : Elles peuvent compliquer la tâche et conduire à des résultats trompeurs.
3. Se concentrer sur la formation des compétences de raisonnement logique : Les modèles devraient être formés pour améliorer des compétences comme la décomposition logique et le raisonnement.

En conclusion, nos résultats ouvrent des voies claires pour améliorer les performances des LLMs dans la résolution de problèmes liés au NLP, suggérant qu'avec une formation ciblée et un prompting réfléchi, ces modèles peuvent atteindre une plus grande efficacité.