Avancées dans le question-réponse basé sur la connaissance

Ces dernières années, l'Intelligence Artificielle Générative (IA) a montré un grand potentiel dans différents domaines. Un domaine important où l'IA générative joue un rôle, c'est dans les modèles de langage de grande taille (LLMs). Ces modèles ont permis d'améliorer considérablement la façon dont les machines comprennent le langage humain par rapport aux méthodes d'IA traditionnelles.

Comprendre le langage a toujours été un défi pour les systèmes de questions-réponses, surtout ceux basés sur des bases de données. La complexité vient des différentes façons dont les gens expriment leurs questions et de l'émergence de nouvelles intentions que le système pourrait ne pas encore reconnaître. Les méthodes traditionnelles d'IA pour la reconnaissance des intentions se divisent en deux grands types : celles basées sur l'analyse sémantique et celles basées sur des modèles. Malheureusement, ces deux méthodes ont souvent du mal avec les ressources quand il s'agit de reconnaître les intentions de manière efficace.

Pour surmonter ces défis, un nouveau système de questions-réponses basé sur la connaissance, appelé LB-KBQA, a été proposé. Ce système combine les capacités d'un grand modèle de langage et de BERT, un modèle bien connu pour comprendre le langage. Avec les avancées de l'IA générative, LB-KBQA peut identifier de nouvelles intentions et acquérir des connaissances au-delà de ce qui a été fourni lors de sa formation initiale.

L'efficacité de LB-KBQA a été démontrée en le testant avec des questions financières. Les résultats ont montré que cette nouvelle approche fonctionnait bien, offrant des réponses précises aux questions posées.

#L'essor de l'IA générative

L'IA générative a récemment attiré l'attention des chercheurs et des professionnels de l'industrie. Les capacités uniques de l'IA générative offrent beaucoup de potentiel pour diverses applications, surtout dans le domaine des Grands Modèles de Langage. Un exemple marquant est la série GPT, qui a fait des progrès significatifs dans le traitement du langage naturel. À mesure que ces modèles grandissent, ils deviennent de plus en plus doués pour comprendre le langage humain. Par exemple, GPT-3 possède 170 milliards de paramètres, ce qui montre l'ampleur de ces modèles.

La capacité à comprendre le langage de manière précise est cruciale pour les systèmes de questions-réponses, qui fonctionnent souvent dans des scénarios en monde ouvert. Dans ces situations, il est courant de rencontrer des décalages entre les questions posées par les utilisateurs et les réponses disponibles. Ce décalage provient souvent de la diversité des expressions linguistiques que les utilisateurs emploient, ce qui conduit à des classes de questions non vues que le système n'a pas encore rencontrées.

En ce qui concerne les questions-réponses basées sur la connaissance (KBQA), les classes non vues présentent un défi significatif. Si une question ne correspond à aucune intention connue, le système peut ne pas fournir de réponse correcte. Cet échec peut survenir parce que la base de connaissances existante ne contient pas les informations nécessaires ou parce que le langage utilisé ne correspond pas à ce qui est dans le système.

#L'évolution des systèmes KBQA

L'émergence de bases de données à grande échelle a conduit au développement de systèmes KBQA en domaine ouvert. Ces systèmes visent à comprendre les questions et à fournir des réponses précises basées sur des sources de connaissances externes. Récemment, le domaine du KBQA a gagné en traction, attirant l'attention des cercles académiques et des acteurs de l'industrie. Avec des bases de connaissances open-source, les systèmes KBQA peuvent offrir des solutions dans divers domaines. Un exemple notable est le Knowledge Vault, qui a été intégré au moteur de recherche de Google et a considérablement amélioré l'expérience utilisateur.

La fonction principale d'un système KBQA est de mapper les questions des utilisateurs aux réponses trouvées dans une base de connaissances. Ce processus commence par l'analyse de la question de l'utilisateur au niveau sémantique pour identifier l'intention de l'utilisateur. Chaque intention peut être considérée comme une classe fixe, mais souvent, le système rencontre des intentions non vues qui peuvent nuire à son efficacité.

Mapper les questions aux intentions est complexe en raison de la diversité linguistique. Il existe de nombreuses façons de décrire le même concept, ce qui rend difficile l'analyse précise du langage humain. Les méthodes traditionnelles de reconnaissance des intentions peuvent être divisées en deux approches principales : les méthodes basées sur des règles et les méthodes basées sur des modèles.

Les méthodes basées sur des règles s'appuient souvent sur l'analyse sémantique, tandis que les méthodes basées sur des modèles utilisent des modèles pré-entraînés pour capturer les informations sémantiques de manière plus efficace. Cependant, les deux approches rencontrent des défis. Les méthodes basées sur des règles peuvent avoir du mal avec des requêtes complexes impliquant plusieurs entités, tandis que les méthodes basées sur des modèles ne peuvent souvent pas fournir de réponses précises pour des questions qui sortent de leur ensemble de données de formation.

#Intentions non vues et leurs défis

Les intentions non vues sont un problème courant dans les applications KBQA et peuvent être largement catégorisées en deux groupes. Le premier groupe comprend les intentions non vues qui émergent de la diversité linguistique, c'est-à-dire les différentes représentations de la même intention. Le second groupe fait référence aux intentions qui n'ont jamais été incluses dans la base de connaissances.

Pour traiter le problème des intentions non vues, l'introduction de grands modèles de langage représente une avancée significative dans le traitement du langage naturel. Ces modèles peuvent générer du texte qui ressemble de près à l'écriture humaine en traitant d'énormes quantités de données. Cette capacité leur permet de reconnaître divers motifs et styles linguistiques utilisés par les utilisateurs. Il est important de noter que les LLM peuvent également apprendre rapidement de nouvelles informations, ce qui les rend adaptables aux entrées des utilisateurs et aux contextes changeants.

Les performances des LLM offrent une solution au défi de faire face aux intentions non vues dans les systèmes KBQA. Le système LB-KBQA a été conçu pour traiter efficacement les malentendus concernant les intentions des utilisateurs. La base de connaissances de LB-KBQA contient deux composants clés : une bibliothèque d'intentions qui utilise une représentation vectorielle et une bibliothèque de requêtes qui utilise un graphique de connaissances.

Le système LB-KBQA se compose de cinq parties principales, chacune jouant un rôle vital dans la fonctionnalité globale. Tout d'abord, il y a un module de prétraitement du langage qui nettoie le texte d'entrée en supprimant les symboles inutiles et les mots vides.

Ensuite, le module de reconnaissance des intentions identifie les principales entités dans la demande de l'utilisateur. Par exemple, si un utilisateur demande l'heure, le module va repérer des mots pertinents comme "année", "mois" et "jour". La reconnaissance précise de l'intention de l'utilisateur est essentielle pour fournir des réponses correctes dans un contexte KBQA.

Si la première tentative de comprendre la question échoue, le système passe à une méthode d'embedding de question basée sur BERT pour extraire des informations sémantiques plus profondes. La question d'entrée est transformée en un vecteur de contexte pour faciliter les calculs de similarité. Le système utilise ensuite une base de vecteurs de questions similaires qui contient des paires d'étiquettes d'intention et de vecteurs de contexte.

Si la mesure de similarité ne répond pas à un seuil prédéfini, le système fait appel au grand modèle de langage pour déterminer l'intention. Dans ce processus, une méthode d'apprentissage en contexte aide le LLM à comprendre l'intention de l'utilisateur en fonction de la requête d'entrée, permettant au modèle de générer des étiquettes d'intention qui sont ensuite mises à jour dans la bibliothèque d'intentions.

Le troisième composant essentiel de LB-KBQA est le module de génération de réponses, qui crée des réponses lisibles en fonction des intentions des utilisateurs. Ce module suit trois étapes, en commençant par des tâches de reconnaissance des entités nommées, suivies par la formulation d'une déclaration de requête dérivée des entités identifiées. La déclaration de requête est exécutée contre le graphique de connaissances pour récupérer les informations les plus pertinentes.

Le quatrième module est le composant d'Apprentissage adaptatif. Cette partie vise à améliorer la capacité du système à reconnaître des intentions inconnues au fil du temps. Si un utilisateur exprime son insatisfaction concernant une réponse, le LLM engage un dialogue en plusieurs tours avec l'utilisateur pour clarifier si le problème provient de la reconnaissance des intentions.

Une fois que l'utilisateur fournit des commentaires concernant son intention réelle, le système met à jour sa bibliothèque d'intentions et le vecteur de question dans la base de vecteurs de questions similaires. Ce mécanisme d'apprentissage adaptatif aide le système à s'ajuster rapidement aux intentions peu familières.

Enfin, le module d'extension de la bibliothèque de requêtes permet aux utilisateurs d'enrichir le graphique de connaissances existant. Il offre la possibilité d'intégrer des ensembles de données structurées en utilisant un package Python spécifique. Pour les données non structurées, des outils sont recommandés pour extraire les entités et relations pertinentes.

#Expérimentation et résultats

Pour évaluer la performance du système LB-KBQA, une série d'expérimentations a été réalisée. Une méthode d'évaluation courante utilisée dans les tâches de questions-réponses est la matrice de confusion, qui aide à évaluer les résultats de diverses approches.

Le système a été construit en utilisant le jeu de données financiers Tushare, une ressource open-source qui fournit des données financières propres et variées pour l'analyse. L'ensemble de test comprenait 100 échantillons, répartis également entre des questions de relation simples et complexes. Les questions de relation simples ont des réponses directes trouvées dans un seul triplet sujet-prédicat-objet, tandis que les questions de relation complexes nécessitent que le système rassemblent des informations provenant de plusieurs sources.

Des expériences d'ablation ont été effectuées pour évaluer comment différents ajustements de modèles ont affecté la performance globale. La précision du système LB-KBQA était la principale métrique utilisée pour l'évaluation, calculée comme le ratio de réponses correctes sur le nombre total de questions posées. Le système complet a atteint une précision de 0,90.

De plus, des tests axés sur la capacité du système à reconnaître des intentions non vues ont mis en évidence l'importance de la représentation des questions basée sur BERT et de la bibliothèque de vecteurs de questions similaires. Les résultats ont indiqué une baisse de précision de 0,3 lorsque le composant BERT a été retiré, confirmant son rôle essentiel dans la découverte des intentions non vues.

L'inclusion du grand modèle de langage et du module d'apprentissage adaptatif a encore amélioré la capacité du système à faire face à la diversité du langage. En revanche, le modèle traditionnel basé sur des règles avait un impact limité sur la reconnaissance des intentions non vues.

#Conclusion

Le système LB-KBQA montre comment les grands modèles de langage peuvent améliorer les capacités de compréhension du langage naturel des méthodes d'IA traditionnelles, en particulier dans le domaine des questions-réponses basées sur la connaissance. Cette approche traite les défis posés par la diversité linguistique et les intentions non vues de manière systématique.

La capacité de s'adapter et d'apprendre des interactions avec les utilisateurs garantit que le système reste pertinent et efficace, même lorsque de nouveaux types de questions émergent. En offrant un cadre prometteur pour les systèmes KBQA, LB-KBQA contribue des connaissances précieuses à la fois pour la recherche académique et pour les applications pratiques dans divers domaines, y compris la finance.

Grâce à ces avancées, le domaine des questions-réponses basées sur la connaissance est prêt pour une croissance supplémentaire à mesure que de nouvelles techniques et technologies continuent d'émerger.