Évaluer le raisonnement dans les grands modèles de langage

Les grands modèles de langage (LLMs) ont montré des capacités impressionnantes dans les tâches de raisonnement. Cependant, la plupart des Évaluations se sont concentrées sur la précision de leurs réponses, sans vérifier la qualité des étapes de raisonnement. Cet article présente une nouvelle façon d'évaluer directement comment les LLMs pensent en répondant à des questions complexes nécessitant plusieurs étapes de raisonnement, en utilisant des Graphes de connaissances (KGs).

#Contexte

#Raisonnement en Chaîne de Pensée (CoT)

Le raisonnement en chaîne de pensée est une méthode où les LLMs sont invités à décomposer les questions en étapes logiques plus petites avant de fournir une réponse. Chaque étape contribue à la réponse finale et doit être basée sur un raisonnement factuel et cohérent.

#Graphes de Connaissances (KGs)

Les graphes de connaissances sont des représentations structurées de faits, affichées sous forme de triplets. Dans ce contexte, un triplet se compose d'une entité principale, d'une entité finale et d'une relation qui les relie. Par exemple, le triplet pourrait indiquer que "A est le parent de B."

#La Nécessité de l'Évaluation

Des recherches antérieures ont montré que les LLMs peuvent donner des réponses correctes, mais il reste flou s'ils utilisent un raisonnement valide pour atteindre ces réponses. Ainsi, évaluer leur processus de raisonnement est crucial.

#Problèmes avec les Méthodes d'Évaluation Actuelles

Les méthodes d'évaluation actuelles mesurent principalement la précision des réponses au lieu de se concentrer sur les étapes de raisonnement impliquées. Certaines tentatives ont été faites pour évaluer la capacité de raisonnement des LLMs en changeant les invites ou en y injectant des erreurs. Cependant, ces méthodes ne vérifient toujours pas directement la validité de chaque étape de raisonnement.

#Cadre d'Évaluation Proposé

#Aperçu

Cet article propose un cadre pour évaluer les capacités de raisonnement des LLMs. Il comprend deux parties principales : une évaluation discriminative pour identifier les chemins de raisonnement valides et une évaluation générative pour analyser les processus de raisonnement produits par les LLMs.

#Évaluation Discriminative

L'objectif de cette évaluation est de voir si les LLMs peuvent correctement identifier les chemins de raisonnement valides et invalides lorsqu'on leur donne les deux types. Ce faisant, nous évaluons les connaissances en raisonnement que possèdent les LLMs. Si les LLMs peuvent distinguer les chemins valides des invalides, cela indique qu'ils ont un certain degré de capacité de raisonnement.

#Évaluation Générative

Dans cette partie, on demande aux LLMs de créer un CoT basé sur une question. On vérifie ensuite si le chemin de raisonnement généré est valide en le comparant avec les KGs. Cela nous aide à évaluer la cohérence et la validité factuelle de leur raisonnement.

#Expériences et Résultats

#Configuration des Expériences

Des expériences ont été réalisées en utilisant deux ensembles de données nécessitant un raisonnement en plusieurs étapes : Complex WebQuestions (CWQ) et GrailQA. Plusieurs LLMs ont été testés, variant en taille de modèles plus petits à plus grands.

#Principaux Résultats

1. Connaissance du Raisonnement : Les résultats montrent que les LLMs sont capables de raisonnement, mais ne fournissent souvent pas de chemins de raisonnement valides ou cohérents.

2. Écart de Performance : Il y a un écart notable entre la précision des réponses et la fidélité des étapes de raisonnement. Même lorsque les LLMs fournissent la bonne réponse, les étapes qu'ils ont suivies peuvent ne pas être valables.

3. Impact de la Taille du Modèle : À mesure que les LLMs grandissent, la précision des réponses et l'écart entre la précision des réponses et le raisonnement augmentent également. Cela suggère que les modèles plus grands pourraient s'appuyer davantage sur leurs connaissances que sur le raisonnement logique.

4. Amélioration des Stratégies d'Invite : Utiliser de meilleures méthodes d'invite peut améliorer à la fois la précision des réponses et la cohérence du raisonnement, mais l'écart entre les deux demeure.

#Analyse des Erreurs

Les erreurs de raisonnement peuvent être largement regroupées en trois types :

• Erreurs factuelles : Celles-ci se produisent lorsque l'information dans le chemin de raisonnement est incorrecte.
• Erreurs de cohérence : Celles-ci se produisent lorsque les étapes de raisonnement ne suivent pas logiquement les unes les autres.
• Erreurs de réponse : Ce sont des cas où la réponse finale ne correspond pas à la question malgré un chemin de raisonnement cohérent.

#Conclusion

Cette étude met en avant l'importance d'évaluer à la fois les réponses finales fournies par les LLMs et les processus de raisonnement qu'ils emploient. En utilisant des KGs pour ancrer les chemins de raisonnement, nous pouvons obtenir des aperçus sur les forces et les faiblesses des capacités de raisonnement des LLMs. À l'avenir, aborder les écarts entre les réponses correctes et le raisonnement sera un domaine essentiel pour la recherche et l'amélioration des capacités de raisonnement des LLMs.

#Travaux Futurs

Pour améliorer ce cadre d'évaluation, de futures recherches pourraient se concentrer sur l'expansion de la définition des chemins de raisonnement et l'incorporation de méthodes pour combler les lacunes dans les KGs. De plus, explorer plusieurs chemins de raisonnement pour une seule question pourrait fournir des aperçus plus nuancés des capacités de raisonnement des LLMs.

#Remerciements

Les auteurs souhaitent remercier les institutions et collègues qui ont contribué à la recherche et au développement de ce cadre d'évaluation. Leurs idées et leur collaboration ont grandement amélioré la qualité de ce travail.

#Références

• Des lectures supplémentaires et des travaux qui ont informé cette étude peuvent être explorés dans des revues académiques et des conférences dédiées à la recherche sur l'IA et les modèles de langage.

#Annexe

Des méthodologies détaillées, des résultats expérimentaux supplémentaires et diverses invites utilisées dans les évaluations peuvent être trouvés dans la section annexe, fournissant un contexte supplémentaire aux résultats de l'étude.