Évaluation du raisonnement logique dans les grands modèles de langage

Les grands modèles de langage (LLM) ont fait des avancées impressionnantes dans la compréhension et la génération du langage humain. Ils ont montré des capacités remarquables dans des tâches comme la traduction, la synthèse, et même les conversations décontractées. Bien que ces modèles puissent se souvenir de faits tirés de leurs données d'entraînement, leur capacité à utiliser ces infos pour un Raisonnement logique n'est pas encore complètement comprise.

Dans cet article, on évalue à quel point les LLM peuvent raisonner sur des questions complexes basées sur des Connaissances factuelles. Pour ça, on a créé un benchmark : un ensemble de questions difficiles qui demandent aux modèles de faire différents types de raisonnement logique en utilisant des informations provenant de graphiques de connaissances.

#Le défi du raisonnement logique

Quand les gens pensent au raisonnement logique, ils imaginent résoudre des problèmes nécessitant plusieurs étapes. Par exemple, si quelqu'un sait que Paris est la capitale de la France et que la France partage une frontière avec la Belgique, il pourrait déduire quelle est la capitale la plus proche de Paris, sans compter Paris lui-même. Ce type de raisonnement, qui combine plusieurs informations, est crucial dans plein de situations de la vie réelle, comme la santé ou répondre à des questions complexes.

Cependant, la plupart des Évaluations existantes des modèles de langage se sont concentrées sur leur capacité à retenir des faits simples, comme "Quelle est la capitale de la France ?" ou "Quels protéines sont liées au cancer du poumon ?" Il n'y a pas eu assez de focus sur la capacité de ces modèles à combiner des faits pour répondre à des questions plus compliquées.

#Création d'un benchmark pour l'évaluation

Pour combler ce manque, on a conçu un nouvel outil de benchmarking. Cet outil génère automatiquement des questions qui nécessitent un raisonnement sur plusieurs étapes en utilisant des connaissances provenant de domaines généralistes et Spécialisés, surtout en médecine. Les questions impliquent des opérations comme les intersections, les unions, et les négations, qui sont courantes dans le raisonnement logique.

On a fait des expériences sur divers LLM de pointe pour voir comment ils se débrouillent avec ce benchmark. On a découvert que, même si les LLM gèrent bien les connaissances générales, ils rencontrent beaucoup de difficultés avec des connaissances détaillées dans des domaines comme la biomédecine.

#Observations des expériences

Les résultats ont révélé plusieurs trouvailles clés :

1. Forces et faiblesses : Les LLM se débrouillaient bien avec les connaissances générales, mais avaient du mal avec des détails spécifiques dans des domaines comme les faits biomédicaux. Ça montre un défi plus large pour gérer des connaissances spécialisées.

2. Difficultés avec les négations : Les modèles avaient du mal avec les questions impliquant des négations ou des exclusions. Par exemple, comprendre une question qui demande d'identifier ce qui n'est pas inclus s'avère assez difficile pour eux.

3. Comparaison des opérations d'ensemble : Une autre trouvaille intéressante était que les LLM se débrouillaient mieux avec les opérations d'union, qui impliquent de combiner des ensembles, par rapport aux opérations d'intersection, qui nécessitent d'identifier des éléments communs dans des ensembles. Ça suggère une disparité dans leur façon de gérer ces deux types d'opérations logiques.

4. Impact des techniques de raisonnement : On a découvert qu'utiliser une technique appelée Chain-of-Thought prompting-où les étapes de raisonnement sont explicitement exposées-pouvait booster significativement les performances des modèles sur des questions complexes. En décomposant le processus de raisonnement en étapes claires, les modèles s'en sortaient mieux pour comprendre et résoudre des tâches de raisonnement sur plusieurs étapes.

5. Choix de meilleurs exemples : Sélectionner des exemples de démonstration qui correspondent étroitement à la question en cours a amélioré la performance du modèle. Utiliser des exemples qui partagent des caractéristiques similaires aide le modèle à mieux comprendre ce qui est demandé.

#Le cadre d'évaluation

Le cadre d'évaluation que l'on a développé vise à évaluer de manière exhaustive à quel point les LLM peuvent effectuer un raisonnement logique. On a créé 5 200 questions couvrant 26 modèles logiques différents, englobant à la fois des connaissances générales et des connaissances biomédicales spécialisées.

Ce cadre est essentiel parce qu'il teste non seulement la capacité des modèles à se souvenir des faits, mais aussi leur habileté à synthétiser et utiliser ces faits dans des tâches de raisonnement logique.

#Types de requêtes logiques et profondeur de raisonnement

Notre cadre utilise différents types de requêtes logiques définies par leurs opérations, comme les conjonctions (ET), les disjonctions (OU), et les négations (NON). On a regroupé ces requêtes en familles basées sur leurs opérations principales. Par exemple, certaines requêtes se concentrent sur la projection des relations, tandis que d'autres traitent des intersections et des unions d'ensembles.

On a observé comment la profondeur de raisonnement-autrement dit, combien d'étapes consécutives sont impliquées pour répondre à une question-impacte la performance. À mesure que les questions devenaient plus complexes, nécessitant un raisonnement plus profond, les performances des modèles avaient tendance à diminuer.

#Résultats et insights

En testant huit LLM de pointe, on a constaté une tendance claire : la performance chutait considérablement avec des questions plus complexes, surtout celles impliquant des négations ou des opérations logiques plus profondes. Par exemple, le modèle le plus performant montrait une différence notable de précision en répondant à des questions plus faciles comparées à des questions plus difficiles.

Notre analyse a révélé que, même si des modèles comme GPT-4o obtenaient les meilleurs résultats globaux, tous les modèles rencontraient des difficultés similaires avec des tâches de raisonnement complexes. Ça indique une limitation partagée parmi les LLM actuels qui doit être abordée pour améliorer leurs capacités de raisonnement.

#Améliorer les capacités de raisonnement

On a exploré des méthodes pour renforcer les compétences de raisonnement des LLM. Des techniques comme le Chain-of-Thought prompting ont montré leur potentiel. En révélant les étapes intermédiaires de raisonnement dans la question, les modèles pouvaient mieux structurer leurs processus de pensée.

De plus, la sélection de démonstrations s'est avérée être une stratégie précieuse pour améliorer les performances. En choisissant des exemples qui sont étroitement liés à la tâche actuelle, les modèles sont mieux alignés avec les exigences spécifiques des questions posées.

#Conclusion

Pour conclure, notre évaluation montre que, même si les LLM sont compétents pour gérer des connaissances générales, ils rencontrent de sérieux défis avec des tâches de raisonnement plus complexes, surtout celles qui nécessitent une compréhension approfondie des connaissances spécialisées. Les efforts pour améliorer leurs performances via des techniques comme le Chain-of-Thought prompting et la sélection de démonstrations sont prometteurs mais soulignent le besoin d'un développement supplémentaire des capacités de raisonnement des modèles linguistiques.

Ce travail éclaire non seulement les forces et les limites des LLM actuels, mais il fournit aussi une base pour des recherches continues. En publiant notre benchmark d'évaluation et notre code, on espère encourager davantage d'études dans ce domaine et éventuellement favoriser des avancées dans les capacités de raisonnement des grands modèles de langage.