Améliorer la réponse aux questions avec des graphes de connaissances incomplets

Les grands modèles de langage (LLMs) ont montré une forte performance dans plein de tâches linguistiques. Mais, ils galèrent souvent avec leurs connaissances limitées et peuvent parfois produire des infos incorrectes ou trompeuses, appelées hallucinations. Pour améliorer ça, des chercheurs ont essayé de combiner les LLMs avec des Graphes de connaissances (KGs), qui fournissent des infos structurées et factuelles.

La plupart des méthodes existantes évaluent les LLMs en utilisant des KGs complets, ce qui veut dire que les faits nécessaires pour répondre aux questions sont entièrement couverts par le KG. Dans ces cas-là, les LLMs agissent surtout comme des agents qui récupèrent des réponses plutôt que d'intégrer véritablement des connaissances internes et externes. Les KGs du monde réel, par contre, sont souvent incomplets, ce qui pose des défis pour répondre aux questions.

Cet article introduit une nouvelle approche pour régler ce problème en se concentrant sur la réponse aux questions avec des graphes de connaissances incomplets (IKGQA). Dans l'IKGQA, le KG ne comprend pas tous les faits nécessaires liés à une question. Pour gérer ça, on propose une méthode appelée Generate-on-Graph (GoG) qui génère de nouveaux faits tout en explorant les KGs.

#Aperçu de l'IKGQA

L'IKGQA est différent de la réponse aux questions KG traditionnelle (KGQA). Dans KGQA, tous les faits pertinents sont présents, ce qui permet aux modèles de trouver facilement des réponses. Cependant, dans l'IKGQA, certains faits critiques manquent, ce qui veut dire que les modèles doivent s'appuyer davantage sur leurs connaissances internes et leurs compétences en raisonnement pour combler les lacunes.

Par exemple, si une question demande le fuseau horaire du siège d'Apple à Cupertino, un système KGQA traditionnel pourrait trouver la réponse directement si le fait pertinent est présent dans le KG. Dans l'IKGQA, si le fait spécifique sur le fuseau horaire de Cupertino est absent, le modèle doit utiliser ce qu'il sait sur Cupertino et la Californie pour en déduire la réponse.

#Méthode : Generate-on-Graph (GoG)

Pour surmonter les défis de l'IKGQA, on introduit GoG, qui se compose de trois étapes principales : sélectionner, générer et répondre.

#Sélectionner

Dans la phase de sélection, les LLMs identifient les relations les plus pertinentes par rapport à la question actuelle. En se concentrant sur ces relations, ils peuvent élargir la compréhension du KG et rassembler plus d'infos connexes.

#Générer

Une fois que les relations pertinentes sont sélectionnées, le LLM génère de nouveaux faits en utilisant ses connaissances internes. Par exemple, s'il sait que Cupertino est en Californie et que la Californie a un fuseau horaire de l'heure normale du Pacifique, il peut en déduire que Cupertino partage aussi ce fuseau horaire.

#Répondre

Après avoir généré les nouveaux faits, le LLM tente de répondre à la question en utilisant à la fois les infos récupérées et celles générées. Si la réponse reste floue, le modèle peut revenir en arrière et répéter les étapes de sélection et de génération jusqu'à trouver une réponse satisfaisante.

#Résultats expérimentaux

On a testé GoG sur deux ensembles de données pour évaluer son efficacité à répondre aux questions dans des conditions IKG. Les résultats ont montré que GoG a largement surpassé beaucoup de méthodes précédentes. Alors que les méthodes traditionnelles excellaient dans des scénarios de KG complet, elles ont beaucoup moins bien réussi dans des situations IKG.

#Comparaison de performance

Dans les tests utilisant des KGs complets, plusieurs systèmes ont bien performé, mais leur performance a chuté brutalement face à des KGs incomplets. GoG, cependant, a maintenu une performance solide même avec des faits manquants. Ça met en avant la capacité de GoG à utiliser à la fois les infos structurées des KGs et les connaissances intrinsèques des LLMs.

#Importance de l'IKGQA

Étudier l'IKGQA est important pour plusieurs raisons :

1. Pertinence dans le monde réel : Beaucoup de KGs utilisés en pratique sont incomplets, ce qui rend l'IKGQA plus proche des défis réels rencontrés dans diverses applications.
2. Évaluation de la capacité de raisonnement : L'IKGQA permet une meilleure évaluation des compétences de raisonnement des LLMs, étant donné qu'ils doivent s'appuyer davantage sur leurs connaissances plutôt que de simplement récupérer des faits d'un KG.

#Travaux connexes

#Réponse aux questions avec des KG incomplets

Plusieurs méthodes ont déjà étudié la réponse aux questions utilisant des KGs incomplets, se concentrant principalement sur l'entraînement des modèles pour prédire des réponses basées sur des scores de similarité. Cependant, ces méthodes échouent souvent à intégrer efficacement les capacités des LLMs.

#Unification des KGs et des LLMs

La recherche a cherché à unir les KGs et les LLMs pour un KGQA efficace. Ça peut être divisé en deux catégories : méthodes de parsing sémantique et méthodes augmentées par récupération.

• Parsing sémantique (SP) : Ces méthodes traduisent les questions en requêtes structurées qui peuvent être exécutées sur un KG. Bien qu'efficaces, leur succès dépend beaucoup de la qualité des KGs.
• Augmentation par récupération (RA) : Ces méthodes visent à récupérer des informations pertinentes des KGs pour aider les LLMs à répondre aux questions. Elles ont montré de la promesse dans le KGQA traditionnel mais échouent souvent dans l'IKGQA.

#Défis des approches existantes

Beaucoup de méthodes existantes n'interagissent pas efficacement avec les KGs face à l'incomplétude. Les méthodes SP traditionnelles ne s'adaptent souvent pas bien à l'info manquante, ce qui mène à de mauvaises performances. De même, d'autres méthodes qui se basent sur la récupération peuvent obtenir des informations non pertinentes ou incorrectes, conduisant à des réponses erronées.

#Conclusion

Dans cette étude, on a introduit GoG, une méthode conçue pour améliorer la réponse aux questions dans le contexte des KGs incomplets. En combinant efficacement les forces des LLMs avec les KGs, GoG a bien performé dans divers scénarios, montrant qu'un KG incomplet peut encore fournir des informations structurées précieuses pour aider à répondre à des questions complexes.

#Limitations et travaux futurs

Malgré ses forces, GoG a des limitations. Il a été évalué principalement sur des ensembles de données spécifiques, et il peut y avoir des cas où les LLMs produisent des infos trompeuses. Les travaux futurs exploreront l'amélioration de la performance du modèle et son application à un éventail plus large de domaines et d'ensembles de données.

#Déclaration d'éthique

Cette recherche a utilisé des ensembles de données disponibles publiquement et n'a soulevé aucun problème éthique concernant la confidentialité des données ou les annotations humaines.

#Invites utilisées dans GoG

La méthode GoG comprend des invites spécifiques guidant les actions du modèle dans la sélection, la génération et la réponse aux questions, garantissant qu'il fonctionne efficacement dans son cadre conçu.

#Études de cas

Pour illustrer l'efficacité de GoG, on présente une étude de cas comparant GoG à d'autres méthodes. Dans ce scénario, GoG a réussi à utiliser des informations voisines pour conclure sur la localisation géographique des montagnes Appalaches, tandis que d'autres méthodes ont galéré à cause de triples cruciaux manquants.

#Remerciements

Cette recherche met en avant l'importance de combler les lacunes de connaissance dans les systèmes de réponse aux questions et ouvre des pistes pour une exploration plus poussée de l'intégration des LLMs avec des KGs incomplets.