Améliorer les grands modèles de langage avec le Mindful-RAG

Les grands modèles de langage (LLMs) sont des programmes informatiques conçus pour générer du texte qui ressemble à celui des humains. Ils peuvent écrire des histoires, répondre à des questions et accomplir plein de tâches linguistiques. Mais quand il s'agit de donner des réponses correctes à des questions compliquées qui demandent des connaissances spécifiques, ces modèles ont encore des problèmes.

Une manière d'aider ces modèles, c'est d'utiliser une méthode appelée Génération augmentée par récupération (RAG). Cette technique combine les capacités du modèle de langage avec des informations provenant de sources externes, comme des graphiques de connaissances structurées. Les graphiques de connaissances sont des collections organisées d'informations qui aident les modèles à trouver des réponses factuelles. Malgré ces améliorations, il reste plein de situations où les LLMs ne fournissent pas de réponses précises, même quand ils ont les bonnes infos à disposition.

#Le Défi

Un des principaux problèmes avec les LLMs, c'est qu'ils ne comprennent parfois pas le vrai sens d'une question. Ce malentendu peut mener à des réponses incorrectes. Notre étude se concentre sur l'identification des erreurs courantes que font les LLMs quand ils utilisent des graphiques de connaissances. On a trouvé huit points de défaillance critiques qui contribuent à ces erreurs.

Ces erreurs surviennent principalement pour deux raisons : l'incapacité du modèle à comprendre l'Intention derrière la question et les difficultés à rassembler le bon contexte à partir des graphiques de connaissances. Pour résoudre ces problèmes, on propose une nouvelle méthode appelée Mindful-RAG. Cette méthode met l'accent sur la compréhension de l'intention des questions et l'alignement du contexte pour améliorer la précision des réponses.

#Comprendre les Erreurs

Pour bien saisir où les LLMs se trompent, on a analysé les erreurs en détail. On a classé ces erreurs en deux groupes : échecs de raisonnement et défis liés à la topologie des graphiques de connaissances.

#Échecs de Raisonnement

Les échecs de raisonnement surviennent quand les LLMs ont du mal à interpréter correctement les questions. Voici quelques problèmes communs :

1. Mauvaise compréhension de la question : Les LLMs échouent souvent à relier la question à la bonne information. Ça peut mener à la sélection de faits hors sujet, et donc à des réponses fausses.

2. Indices contextuels : Quand les questions incluent des indices ou des pistes, les LLMs n'arrivent parfois pas à utiliser ces indices efficacement. Ce manque peut gêner leur capacité à réduire les entités pertinentes nécessaires pour répondre à la question.

3. Contexte temporel : Beaucoup de questions nécessitent de comprendre des informations liées au temps. Les LLMs ont souvent du mal à saisir les Contextes temporels, ce qui conduit à des réponses incorrectes.

4. Raisonnement complexe : Les questions qui nécessitent un raisonnement en plusieurs étapes peuvent dérouter les LLMs. Ils peuvent avoir du mal à se concentrer sur plusieurs éléments pertinents nécessaires pour arriver à une réponse correcte.

#Défis de Topologie des Graphiques de Connaissances

Le deuxième groupe d'erreurs concerne des problèmes structurels dans le graphique de connaissances lui-même. Ces défis incluent :

1. Accès à l'information : Des fois, la façon dont le graphique de connaissances est organisé rend difficile pour les LLMs d'accéder aux informations dont ils ont besoin.

2. Traitement inefficace : Des problèmes dans la structure du graphique de connaissances peuvent ralentir la capacité du modèle à traiter les informations, ce qui peut conduire à d'autres inexactitudes.

#Introduction de Mindful-RAG

En réponse à ces constats, on a développé la méthode Mindful-RAG, qui vise à combler les lacunes qu'on a identifiées. Le processus de Mindful-RAG comprend plusieurs étapes, chacune conçue pour aider le LLM à mieux comprendre les questions et à fournir des réponses plus précises.

#Étape 1 : Identifier les Entités Clés et les Tokens Pertinents

La première étape consiste à identifier les entités importantes dans une question. En faisant cela, le modèle peut extraire les informations pertinentes du graphique de connaissances. Par exemple, si la question est "Qui est la femme de Niall Ferguson ?", l'entité clé est "Niall Ferguson" et le token pertinent est "femme".

#Étape 2 : Identifier l'Intention

Ensuite, le modèle doit reconnaître l'intention derrière la question. Ça veut dire comprendre ce que la question demande vraiment. Dans notre exemple, l'intention serait de "identifier le conjoint".

#Étape 3 : Identifier le Contexte

Après avoir déterminé l'intention, le modèle analyse le contexte de la question. Ça implique de comprendre les informations de fond nécessaires pour une réponse précise, comme les relations personnelles ou le statut marital dans l'exemple.

#Étape 4 : Extraction de Relations Candidates

À cette étape, le modèle recherche des relations pertinentes aux entités clés qu'il a identifiées. Ces relations aident à fournir des données factuelles que le modèle peut utiliser dans sa réponse.

#Étape 5 : Filtrage basé sur l'Intention et Classement des Relations en Fonction du Contexte

Le modèle filtre et classe ensuite ces relations sur la base de l'intention et du contexte de la question. Ça garantit que l'information traitée est pertinente et précise.

#Étape 6 : Alignement Contextuel des Contraintes

Ici, le modèle prend en compte toutes contraintes qui peuvent impacter la réponse, comme le temps et le lieu. Ça garantit que la réponse prend en compte le bon contexte et n'est pas juste une réponse générale.

#Étape 7 : Retours Basés sur l'Intention

Enfin, le modèle vérifie si la réponse s'aligne avec l'intention et le contexte établis plus tôt. Si la réponse ne convient pas, il revient aux étapes 5 et 6 pour affiner.

#Expériences et Résultats

Pour tester notre nouvelle méthode, on a utilisé deux jeux de données de référence : WebQSP et MetaQA. Ces ensembles contiennent des questions qui nécessitent différents niveaux de raisonnement pour trouver les bonnes réponses.

Dans notre analyse avec le jeu de données WebQSP, on a comparé Mindful-RAG à plusieurs autres méthodes. On a suivi combien de fois notre méthode fournissait des réponses correctes. Mindful-RAG a atteint un taux de précision Hits@1 de 84% sur WebQSP et de 82% sur MetaQA (3-hop). Ces résultats indiquent que notre approche réduit significativement les erreurs de raisonnement en se concentrant sur l'intention et le contexte.

#Travaux Connexes

Beaucoup d'études récentes ont essayé de trouver des moyens d'améliorer les systèmes RAG. Certains se sont concentrés sur une meilleure adaptation de ces systèmes aux questions en domaine libre. D'autres ont essayé de rendre les modèles de langage plus spécifiques à certains sujets, améliorant leur précision globale. Cependant, on n'a pas beaucoup prêté attention à l'amélioration du raisonnement des LLMs lors de la récupération de connaissances. Notre travail avec Mindful-RAG vise à combler cette lacune en utilisant les connaissances existantes du modèle pour mieux comprendre les questions.

#Discussion et Conclusion

Pour conclure, on a effectué une analyse détaillée des erreurs commises par les méthodes RAG basées sur les graphiques de connaissances dans leur intégration avec les LLMs. On a identifié huit points de défaillance critiques et on les a classés en échecs de raisonnement et défis de topologie.

Les échecs de raisonnement montrent que les LLMs ont du mal à comprendre les questions et à utiliser efficacement les indices contextuels. Pendant ce temps, les défis de topologie révèlent des problèmes structurels dans les graphiques de connaissances qui limitent l'accès à l'information.

Pour adresser ces faiblesses, on a introduit le cadre Mindful-RAG, qui met l'accent sur une récupération basée sur l'intention et des réponses contextuellement cohérentes. Bien que notre objectif principal ait été de minimiser les erreurs de raisonnement, la recherche future peut améliorer la précision en affinant les structures des graphiques de connaissances et en améliorant les techniques de traitement des requêtes. On pense qu'en intégrant les retours des utilisateurs en temps réel, l'utilité et la précision de ces modèles peuvent encore être rehaussées.