Intégrer les connaissances de domaine dans les modèles de langue

Les grands modèles de langage (LLMs) comme ChatGPT ont montré une super compétence à créer du contenu. Par contre, ils galèrent un peu quand il s'agit de connaissances spécifiques dans des domaines comme la médecine, où avoir des infos précises est crucial. Un gros problème, c'est que ces modèles n'ont souvent pas assez de connaissances spécialisées. Pour améliorer ça, les chercheurs cherchent des moyens d'intégrer des connaissances spécifiques dans ces modèles.

Une méthode efficace pour ça, c'est d'utiliser des Graphes de connaissances (KGs). Les graphes de connaissances organisent les infos de manière structurée, ce qui facilite l'accès aux données pertinentes pour des tâches spécifiques. Mais, il y a deux principaux problèmes avec les méthodes actuelles. D'abord, il peut y avoir un décalage entre les infos dans les graphes disponibles publiquement et ce qui est nécessaire pour des tâches spécifiques. Ensuite, les LLMs n'utilisent parfois pas efficacement les infos fournies par ces graphes.

Pour résoudre ces problématiques, notre étude propose une méthode qui construit un graphe de connaissances adapté à des domaines spécifiques, en utilisant un mélange de petits échantillons étiquetés et de grands corpus de textes. On introduit aussi une nouvelle stratégie d'alignement qui aide les LLMs à mieux intégrer les infos des graphes de connaissances. Cette approche est testée sur deux ensembles de données dans le domaine biomédical, montrant des résultats prometteurs qui dépassent les méthodes précédentes.

#Intégration des connaissances dans les grands modèles de langage

Les récentes avancées dans les grands modèles de langage ont conduit à des performances impressionnantes en matière de génération de contenu général. Cependant, leur utilisation dans des domaines spécialisés est souvent limitée à cause d'un manque de Connaissances spécifiques au domaine. Pour améliorer les performances de ces modèles dans des domaines spécifiques, deux techniques principales sont couramment utilisées : l'entraînement continu sur des données spécialisées et les méthodes augmentées par récupération, qui combinent des infos externes avec le modèle.

L'approche augmentée par récupération devient de plus en plus populaire à cause de son coût-efficacité et de la facilité à retracer les informations. Ces méthodes impliquent souvent d'intégrer des modèles de langage avec diverses ressources comme la littérature professionnelle et des articles de presse via un fine-tuning. Néanmoins, les connaissances essentielles pour ces modèles peuvent parfois être éparpillées à travers de grands ensembles de données. Ça peut conduire à l'introduction de bruit lors de la récupération, rendant difficile pour les modèles d'utiliser les infos efficacement. Une solution utile est de tirer parti des infos structurées, principalement à travers des graphes de connaissances.

Cependant, des défis subsistent pour utiliser efficacement les graphes de connaissances. Le premier est le décalage des connaissances. Bien que de nombreuses méthodes utilisent des graphes de connaissances disponibles publiquement pour l'infusion de connaissances, les connaissances spécialisées nécessaires pour des tâches spécifiques sont souvent mal représentées. Ce fossé peut mener à ce que le modèle rate des infos cruciales. Le second défi concerne la manière dont les LLMs traitent les graphes de connaissances. Le format structuré des KGs, qui consiste principalement en triples, diffère du flux naturel de la langue. Ça peut semer la confusion dans les modèles, ce qui rend difficile pour eux de fournir des résultats qui s'alignent avec les infos structurées qu'ils reçoivent, surtout quand il y a peu d'exemples étiquetés disponibles.

#Construction efficace de graphes de connaissances

Pour s'attaquer à ces problèmes, notre travail se concentre sur la construction efficace d'un graphe de connaissances spécifique à un domaine à travers des modèles de langage. On propose une méthode qui améliore la capacité de ces modèles à utiliser les infos des graphes de connaissances, ce qui leur permet de créer des réponses cohérentes, logiques et factuellement correctes.

La construction d'un graphe de connaissances commence par l'extraction d'infos. On utilise un petit ensemble de données étiquetées pour entraîner un modèle qui peut extraire des connaissances de plus grands ensembles de données. En faisant ça, on construit un graphe de connaissances de domaine qui résout le décalage de connaissances. Après l'extraction, on effectue un simple post-traitement pour réduire les erreurs dans les triples collectés.

On développe ensuite un cadre d'alignement composé de trois phases. La première phase implique un pré-apprentissage, où on crée des exemples de conversion de triples en texte à partir des résultats d'extraction. On entraîne un modèle, appelé K-LoRA, pour apprendre à intégrer les connaissances des graphes dans le texte généré.

La deuxième phase se concentre sur le fine-tuning supervisé. Pour chaque question dans nos données d'entraînement, on récupère des infos pertinentes du graphe de connaissances en fonction de la question et on les combine dans l'entrée pour un entraînement supplémentaire. Cette phase est conçue pour affiner les sorties du modèle selon les besoins spécifiques de la tâche.

La dernière phase, appelée alignement avec retour d'information du graphe de connaissances (AKGF), implique l'extraction de connaissances des réponses générées et leur comparaison avec le graphe de connaissances original pour fournir un retour d'information. Ce retour d'information est crucial pour améliorer la justesse des infos présentées dans les réponses.

#Configuration expérimentale

Pour évaluer l'efficacité de notre approche, on réalise des expériences sur deux ensembles de données de question-réponse biomédicale : CMedQA et BioASQ. CMedQA contient un grand nombre de questions et réponses médicales en chinois, tandis que BioASQ inclut de nombreux paires de questions et réponses ainsi que des passages de référence en anglais.

Dans nos expériences, on vise à créer un cadre réaliste où il y a peu d'annotations d'échantillons. On sélectionne aléatoirement 500 instances d'entraînement de chaque ensemble de données et on désigne 1 000 instances de chacune pour les tests. Les données d'entraînement sont utilisées pour construire des graphes de connaissances spécifiques au domaine.

#Métriques d'évaluation

Pour évaluer la qualité des réponses générées, on utilise différentes métriques d'évaluation, y compris les scores BLEU et ROUGE. Ces métriques aident à mesurer comment les modèles performe en générant un contenu fluide et pertinent tout en reflétant avec précision les infos nécessaires.

En plus, on effectue des évaluations manuelles basées sur plusieurs dimensions, telles que la fluidité, la pertinence, la justesse et l'exhaustivité. En échantillonnant des réponses de modèles sous différents réglages, on les classe selon ces dimensions, ce qui nous permet de voir quels modèles performent mieux globalement.

#Résultats et comparaison de performances

Nos résultats montrent que la méthode de requête zero-shot, qui repose sur la requête du modèle sans aucun entraînement préalable, atteint des scores ROUGE similaires à ceux obtenus grâce à un fine-tuning supervisé. Cependant, elle est en-dessous sur les scores BLEU, ce qui indique que même si le contenu peut être précis, il manque de fluidité.

Comparé à un pré-entraînement continu, notre méthode surpasse les modèles existants sur les deux ensembles de données, atteignant des améliorations significatives dans diverses métriques. Plus précisément, notre modèle montre des améliorations dans la génération de réponses précises, mettant en avant l'efficacité d'utiliser des graphes de connaissances pour booster les performances des grands modèles de langage.

#Études d'ablation

Pour comprendre l'impact de chaque partie de notre méthode, on a conduit des études d'ablation où on a retiré des composants spécifiques comme K-LoRA ou le mécanisme de retour d'information du graphe de connaissances. La suppression de K-LoRA a entraîné la plus forte baisse de performance, démontrant son importance pour aider les modèles à comprendre le format de la tâche.

En analysant ces résultats, on a constaté que les composants restants apportaient toujours des améliorations par rapport aux modèles de base, indiquant que même si chaque élément joue un rôle, K-LoRA est crucial pour permettre au modèle d'apprendre efficacement à partir du graphe de connaissances.

#Analyse de K-LoRA

K-LoRA influence fortement la performance de notre modèle. En entraînant le modèle à pré-apprendre dans le domaine spécifique, K-LoRA améliore la qualité du texte généré tout en aidant le modèle à tirer parti des connaissances du graphe plus efficacement.

Notre analyse montre que quand K-LoRA est intégré, le modèle converge plus rapidement pendant l'entraînement, lui permettant de mieux saisir le domaine. De plus, le modèle génère un texte qui s'aligne mieux avec les réponses de référence quand K-LoRA est utilisé, indiquant qu'il utilise efficacement les informations fournies par le graphe de connaissances.

#Complétude du graphe de connaissances

Comme notre approche repose fortement sur la qualité du graphe de connaissances, on a examiné comment sa complétude impacte la performance. On a évalué différentes tailles de graphes de connaissances, allant de complètement complets à des graphes peu peuplés, pour observer comment cette variabilité affecte les résultats.

Les résultats indiquent que réduire la taille du graphe nuit à la performance. Cependant, la relation n'est pas strictement linéaire car le bruit dans le graphe de connaissances peut entraver le processus d'apprentissage. Nos constatations suggèrent que même si des graphes plus grands et plus complets entraînent de meilleurs résultats, il faut trouver un équilibre pour garantir que l'information reste utile et pertinente.

#Conclusion

En résumé, on a développé un cadre qui améliore l'intégration des connaissances de domaine dans les grands modèles de langage. En construisant efficacement des graphes de connaissances et en utilisant une stratégie d'alignement efficace, on a résolu des défis clés concernant le décalage des connaissances et la conformité à l'information. Nos expériences démontrent que cette méthode booste significativement la qualité de la génération de texte, particulièrement dans des contextes avec peu d'annotations.

Bien que notre méthode montre du potentiel, il y a des limites, surtout en ce qui concerne la dépendance à la qualité de la construction du graphe de connaissances. Les travaux futurs se concentreront sur le raffinement du processus de construction pour minimiser le bruit et améliorer l'efficacité générale de notre approche. On pense que nos découvertes contribuent des insights précieux à l'effort continu de relier la connaissance structurée aux grands modèles de langage, particulièrement dans des domaines spécialisés.