Comprendre les grands modèles de langage et les graphes de connaissances

Les grands modèles de langage (LLMs) sont des outils puissants qui peuvent comprendre et générer du texte. Cependant, ils ont parfois du mal avec des connaissances spécifiques, surtout quand ces connaissances sont organisées de manière structurée, comme les Graphes de connaissances (KGs). Cet article discute de la manière dont ces modèles peuvent mieux gérer les connaissances structurées que ce qu'on pensait au départ.

#Graphes de connaissances et modèles de langage

Les graphes de connaissances représentent des informations factuelles à travers des nœuds et des arêtes. Chaque nœud représente une entité (comme une personne ou un lieu), et chaque arête représente la relation entre ces entités. Les chercheurs essaient d'améliorer la capacité des LLMs à utiliser ces informations structurées pour répondre à des Questions complexes.

Beaucoup de chercheurs entraînent les LLMs avec des graphes de connaissances pour aider les modèles à relier des mots dans le texte avec ces faits structurés. Cependant, ce processus d'entraînement peut être très gourmand en ressources et n'est pas adapté à tous les types de LLMs, surtout ceux qui n'autorisent pas l'accès public à leurs données d'entraînement.

#Évaluer la compréhension avec des questions complexes

Dans cette recherche, on se concentre sur le questionnement complexe (CQA) comme méthode pour mesurer à quel point les LLMs peuvent comprendre les informations des graphes de connaissances. On compare différentes méthodes pour fournir des informations de graphe de connaissances aux LLMs afin de découvrir laquelle fonctionne le mieux.

Étonnamment, on a découvert que les LLMs peuvent traiter efficacement des connaissances structurées désordonnées et bruyantes. Ça va à l'encontre de ce qu'on pensait, car on supposait qu'un texte mieux organisé et bien conçu les aiderait à mieux comprendre.

#Le défi de l’Hallucination

Bien que les LLMs puissent réaliser une grande variété de tâches, ils font souvent des erreurs lorsqu'ils traitent des connaissances détaillées ou spécialisées, ce qui conduit à des réponses incorrectes - une situation connue sous le nom d'hallucination. Les chercheurs ont noté que de nombreux faits dans divers domaines sont contenus dans des graphes de connaissances.

Les efforts pour améliorer les LLMs impliquent souvent d'intégrer des graphes de connaissances dans leur entraînement, ce qui vise à cultiver une meilleure compréhension des connaissances structurées sous-jacentes.

#Étapes d'entraînement et d'inférence

Le processus d'amélioration des LLMs avec des graphes de connaissances se déroule généralement en deux étapes : l'entraînement et l'inférence. Pendant la phase d'entraînement, les graphes de connaissances sont encodés, et leurs représentations sont liées au LLM. Mais à mesure que ces modèles deviennent plus grands, ils nécessitent plus de ressources, ce qui complique cette approche.

Lors de l'inférence, les chemins de compréhension et de raisonnement des graphes deviennent essentiels pour que les LLMs donnent un sens aux questions et fournissent des réponses correctes.

#Directions de recherche actuelles

Récemment, les chercheurs se concentrent sur la manière de fournir des connaissances de qualité aux LLMs pré-entraînés sans utiliser de lourdes ressources grâce à des méthodes de prompting intelligentes. Ils expérimentent la conversion des connaissances structurées en formes plus simples, comme du texte ou des paires d'entités ou de faits liés, pour aider les modèles.

Cependant, transformer des graphes de connaissances en texte peut être délicat, surtout lorsqu'il s'agit de nombreux faits interconnectés.

#Évaluation des LLMs avec des questions complexes

Ce travail évalue la capacité des LLMs à gérer des tâches de questionnement complexe impliquant des graphes de connaissances. Lorsqu'ils répondent à des questions, les LLMs doivent souvent puiser des informations à jour dans des sources externes pour donner des réponses précises. Comprendre comment combiner ces connaissances externes avec ce que le LLM sait déjà est crucial.

Par conséquent, utiliser des tâches de question-réponse pour tester la compréhension du modèle des connaissances est une méthode courante.

#Défis de la réponse aux questions

Les réponses aux questions complexes nécessitent souvent plus que de simplement nommer des entités. Elles peuvent inclure des tâches comme le comptage, le classement ou la vérification des faits. Au départ, on pensait qu'un texte en langage naturel organisé serait plus facile à gérer pour les LLMs.

Pour explorer cela, on a posé plusieurs questions de recherche sur la manière dont les LLMs se comportent avec différents types et quantités d'informations structurées.

#Questions clés de la recherche

1. Comment l'ajout de différentes tailles d'informations de graphes de connaissances modifie-t-il la capacité de raisonnement des LLMs dans les tâches de questionnement ?
2. Quelle performance les LLMs atteignent-ils avec des graphes de connaissances complets ?
3. Les connaissances structurées sont-elles toujours meilleures que le langage naturel bien écrit ?
4. Comment les LLMs se comportent-ils avec des graphes de connaissances bruyants ou incomplets ?
5. Qu'est-ce qui doit être pris en compte lors de la conception de prompts pour que les LLMs utilisent efficacement des connaissances externes ?

#Découvertes des expériences

Nos expériences ont offert des perspectives significatives sur les capacités des grands modèles de langage.

#Performance avec des connaissances de qualité mixte

1. Gestion des informations désorganisées : Les LLMs ont souvent mieux performé avec des connaissances désorganisées ou moins polies que prévu. Ils ont montré des compétences dans la structuration et la compréhension de données complexes que nous n'avions pas anticipées.
2. Robustesse face aux informations non pertinentes : Les LLMs n'ont pas beaucoup souffert de détails supplémentaires ou non pertinents. En fait, ils pouvaient améliorer leur précision en filtrant les informations inutiles tout en se concentrant sur les parties essentielles.
3. Utilité des connaissances légèrement pertinentes : Même des informations marginalement pertinentes pouvaient aider les LLMs dans des tâches de raisonnement.

#Variabilité entre les modèles

La recherche a également révélé que différents LLMs réagissent de manière variable à différents types de prompts de connaissance. Une méthode qui fonctionne bien pour un modèle peut ne pas fonctionner pour un autre. Identifier des stratégies de prompting universellement efficaces sera essentiel pour les recherches futures.

#Méthodologies utilisées dans la recherche actuelle

#Expansion des graphes de connaissances

Les chercheurs ont étudié le raisonnement multi-saut, une méthode qui utilise plusieurs relations dans un graphe de connaissances pour répondre à des questions plus complexes. Ils ont évalué les capacités de raisonnement des LLMs lorsqu'ils recevaient différents tailles de graphes de connaissances.

#Utilisation de texte en langage naturel vs. connaissances structurées

L'équipe a comparé la performance des LLMs entre le savoir traditionnel structuré et le texte en langage naturel converti. Ils ont découvert que les LLMs performaient généralement mieux avec des connaissances structurées, même lorsque les deux types étaient dérivés de la même source.

#Impact des sous-graphes bruyants

Pour évaluer la résilience du modèle, les chercheurs ont testé les LLMs en introduisant du bruit dans les graphes de connaissances. Ils ont modifié les graphes en supprimant aléatoirement certains nœuds ou en les remplaçant par des informations non pertinentes. Les résultats ont montré que les performances des modèles baissaient plus significativement avec des informations non pertinentes qu'avec des informations manquantes.

#L'importance des techniques de prompting

Un autre domaine de focus était la manière dont les connaissances étaient présentées aux modèles. Si l'information structurée était difficile à intégrer, des travaux ont été réalisés sur les méthodes de prompting, une technique qui consiste à façonner la manière dont les données sont présentées au modèle.

En utilisant différentes méthodes d'injection de connaissances, les chercheurs ont découvert que présenter les connaissances de diverses manières organisées affectait la performance du modèle. Par exemple, les LLMs prospéraient lorsque les informations des graphes de connaissances étaient bien structurées, mais ils bénéficiaient également de méthodes de prompting qui incluaient des scores de confiance ou un classement selon la pertinence.

#Discussion sur les limites

Bien que les résultats soient prometteurs, il y avait des limites à cette recherche.

#Contraintes de données

Les ensembles de données utilisés pour les tests avaient des limites. Par exemple, l'ensemble de données QALD-7 contenait de nombreuses questions simples, ce qui a conduit à une évaluation biaisée. L'étude s'est également exclusivement reposée sur des ensembles de données basés sur un savoir particulier, ce qui a restreint la portée de l'évaluation.

#Directions de recherche futures

Les études à venir exploreront divers autres graphes de connaissances et évalueront les comportements des LLMs sur une gamme plus large d'ensembles de données.

#Conclusion

Cette recherche a ouvert de nouvelles perspectives sur les capacités des grands modèles de langage en ce qui concerne la compréhension des graphes de connaissances. Elle a montré que les LLMs sont plus efficaces pour raisonner avec des informations structurées qu'on ne le croyait au départ. Grâce à l'ingénierie des prompts et à l'utilisation efficace de diverses méthodes d'injection de connaissances, les LLMs peuvent atteindre de meilleures performances, même lorsqu'ils traitent des connaissances bruyantes ou incomplètes.

Les résultats globaux suggèrent que les recherches futures devraient se concentrer sur le raffinement des techniques qui améliorent la compréhension des connaissances structurées dans les grands modèles de langage, ouvrant la voie à une meilleure compréhension et raisonnement dans des scénarios de questions-réponses complexes.