Améliorer la précision dans les systèmes de question-réponse

Les systèmes de questions-réponses deviennent de plus en plus populaires et puissants, surtout ceux qui utilisent des Modèles de Langage de Grande Taille (LLMs). Ces systèmes visent à fournir des réponses précises aux questions des utilisateurs en se basant sur des informations stockées dans des bases de données. Une amélioration significative de ces systèmes provient de l'utilisation de graphiques de connaissances, qui organisent et relient les données d'une manière que les machines peuvent mieux comprendre.

#Le Défi des Réponses Précises

Dans des études récentes, il a été montré que les systèmes utilisant des LLMs combinés avec un graphique de connaissances peuvent fournir des réponses plus précises que ceux reposant directement sur des bases de données traditionnelles. Par exemple, des recherches ont indiqué qu'utiliser un graphique de connaissances augmentait la précision des réponses de seulement 16 % à 54 %. Malgré cette amélioration, il y a encore de la place pour des avancées.

La question centrale est : comment peut-on rendre ces systèmes encore meilleurs pour fournir des réponses précises ? Une observation d'un travail antérieur a suggéré que les LLMs produisaient parfois des Requêtes incorrectes qui s'éloignaient du bon chemin dans le graphique de connaissances. Cette observation a conduit à une approche en deux parties pour améliorer la précision.

#Deux Approches pour Améliorer la Précision

1. Vérification de Requête Basée sur l'Ontologie (OBQC) : Cette méthode vise à identifier les erreurs dans les requêtes générées par le LLM en les comparant aux règles définies dans l'ontologie du graphique de connaissances. L'ontologie est comme un ensemble de lignes directrices qui définit comment différents morceaux de données se rapportent les uns aux autres.

2. Réparation LLM : Si une requête est identifiée comme incorrecte par l'OBQC, l'étape suivante consiste à la corriger. Ce processus de réparation utilise les explications de la première méthode pour aider le LLM à créer une requête corrigée.

Grâce à ces méthodes, la précision globale des systèmes a été améliorée à 72 %, avec un 8 % supplémentaire de réponses disant "Je ne sais pas", ce qui donne un taux d'erreur global de 20 %. Ces résultats soutiennent l'idée que l'utilisation de connaissances structurées, comme les Ontologies, est vitale pour améliorer la performance des systèmes de questions-réponses alimentés par des LLM.

#L'Importance des Systèmes Experts

Les utilisateurs professionnels veulent un expert fiable disponible pour répondre à leurs questions avec précision. Pour répondre à cette demande, il y a eu des recherches significatives axées sur la façon de répondre aux questions à partir de sources de données structurées comme les bases de données SQL. L'essor de l'IA Générative et des LLM renforce encore ce besoin de systèmes fiables et précis.

Combiner les LLM avec des graphiques de connaissances a montré qu'il améliorait considérablement la précision des réponses fournies. En fait, les entreprises utilisant cette combinaison ont rapporté une augmentation de la précision par trois par rapport aux systèmes qui n'utilisent pas de graphiques de connaissances. Alors que les entreprises cherchent à mettre en œuvre des systèmes de questions-réponses efficaces, améliorer la précision est essentiel pour la confiance et la satisfaction des utilisateurs.

#Observer les Modèles d'Erreurs

D'après les résultats précédents, des modèles spécifiques ont émergé concernant la façon dont les requêtes générées par les LLM peuvent échouer. Une erreur courante est un chemin incorrect, où la requête générée ne s'aligne pas avec les relations définies dans l'ontologie. Par exemple, dans le secteur de l'assurance, une relation correcte dans l'ontologie pourrait indiquer qu'une police est vendue par un agent. Si le LLM génère une requête qui implique le contraire - qu'un agent est vendu par une police - cela indique un décalage avec l'ontologie.

Une question exemple pourrait être : "Retourne toutes les polices qu'un agent a vendues." Si la requête SPARQL résultante ne s'aligne pas avec l'ontologie, l'OBQC peut vérifier la validité de la requête en appliquant les règles définies dans l'ontologie.

#Comment Fonctionne la Vérification de Requête Basée sur l'Ontologie

La méthode OBQC implique plusieurs étapes clés :

• Correspondance de Modèles : D'abord, le système analyse la requête SPARQL générée et identifie les Modèles de Graphique de Base (BGP) qu'elle contient. Cette étape se concentre sur la compréhension des relations définies dans la requête.

• Construction de Graphique : L'étape suivante consiste à créer un graphique conjonctif qui représente la requête et l'ontologie. Cela permet au système d'examiner à quel point la requête adhère aux règles de l'ontologie.

• Règles de Cohérence : Enfin, l'OBQC applique des règles logiques basées sur l'ontologie pour vérifier si la requête suit les lignes directrices établies. Si des incohérences sont identifiées, le système génère des explications sur pourquoi la requête ne s'aligne pas avec la structure de l'ontologie.

#Types de Règles dans OBQC

Plusieurs règles sont utilisées dans le processus OBQC :

• Règle de Domaine : Si une propriété a un domaine défini au sein de l'ontologie, le sujet de tout triplet utilisant cette propriété doit appartenir à ce domaine. Cette règle aide à garantir que les relations définies dans l'ontologie sont respectées.

• Règle de Plage : Semblable à la règle de domaine, si une propriété a une plage spécifiée dans l'ontologie, l'objet du triplet doit être membre de cette plage.

• Règle Double Domaine/Plage : Cette règle vérifie les conflits dans les exigences pour le domaine et la plage des propriétés, garantissant que les relations de données restent cohérentes.

• Règle de Propriété Incorrecte : Toutes les propriétés incluses dans la requête doivent exister dans l'ontologie. Cette règle empêche les utilisateurs de faire des requêtes avec des propriétés non définies.

#Le Rôle de la Réparation LLM

Une fois que l'OBQC identifie des problèmes dans les requêtes générées, l'étape suivante consiste à les réparer. Cela nécessite un processus réfléchi où des explications pour les erreurs sont générées. Le LLM tente alors de créer une nouvelle requête SPARQL corrigée basée sur le retour qu'il reçoit.

Le processus de réparation est un cycle qui continue jusqu'à ce que la requête passe la vérification OBQC ou atteigne une limite de trois tentatives. Cette approche garantit que si une requête ne peut pas être réparée efficacement, le système reconnaît l'incertitude plutôt que de fournir une réponse potentiellement incorrecte.

#Configuration Expérimentale et Résultats

Pour évaluer l'efficacité des méthodes OBQC et Réparation LLM, des expériences ont été menées sur la base d'un ensemble de données de référence. Cet ensemble de données était constitué de questions en langage naturel liées à un schéma SQL d'entreprise, accompagnées d'une ontologie décrivant des concepts commerciaux dans le domaine de l'assurance.

Cette référence a permis une évaluation approfondie de la performance du système combiné face à divers types de questions et aux complexités de schéma.

Les résultats ont montré des améliorations prometteuses :

• La précision globale a atteint 72,55 %, avec une réduction notable du taux d'erreur à environ 20 %.
• Le système a bien performé sur différentes complexités de questions, démontrant son potentiel pour des applications pratiques dans des scénarios réels.

#Reconnaître les Erreurs Courantes

Dans le cadre de l'analyse expérimentale, les chercheurs ont noté les différents types d'erreurs qui se produisaient dans les requêtes générées. Les résultats ont mis en évidence que 70 % des réparations provenaient de vérifications liées à l'ontologie, se concentrant particulièrement sur les règles liées au domaine. En revanche, les règles liées à la plage ont contribué à moins de 1 % des réparations.

Ce modèle suggère que de nombreuses inexactitudes proviennent du début des requêtes générées, probablement en raison de la tendance du LLM à mal interpréter les relations entre différents points de données. Les résultats pointent vers la nécessité d'améliorations dans la manière dont les requêtes sont générées et comprises par le LLM.

#L'Impact des Réponses Précises

Avoir des réponses précises est crucial pour améliorer l'expérience utilisateur lors de l'interaction avec des données. Les utilisateurs préfèrent des réponses qui sont claires, valides et compréhensibles. En améliorant la précision, les organisations peuvent favoriser une plus grande confiance dans les solutions d'IA.

Les méthodes OBQC et Réparation LLM sont des composants d'un système plus vaste qui permet aux utilisateurs de poser des questions complexes et de recevoir des réponses cohérentes et significatives. Cette avancée vers des systèmes plus fiables est vitale pour les entreprises cherchant à tirer efficacement parti des technologies d'IA génératives.

#Conclusion : La Route à Suivre

L'étude affirme l'importance d'investir dans des systèmes de connaissances structurées comme les ontologies et les graphiques de connaissances. De tels investissements sont non seulement fondamentaux pour améliorer la précision des systèmes de questions-réponses alimentés par des LLM, mais ils ouvrent également la voie à des applications d'IA plus fiables et efficaces.

L'avenir verra probablement davantage d'avancées dans le raffinement de ces modèles, l'expansion de l'utilisation des ontologies et le développement d'outils qui fournissent systématiquement des réponses précises et pertinentes. Alors que ces systèmes continuent d'évoluer, ils ont un grand potentiel pour transformer la manière dont les organisations interagissent avec leurs données, améliorant finalement les processus décisionnels et les résultats commerciaux.

En se concentrant sur l'intégration de structures de données robustes et sur un traitement intelligent des requêtes, les organisations peuvent s'assurer qu'elles restent à la pointe des innovations en IA, capables de répondre aux demandes croissantes d'informations précises et fiables.