Défis des modèles de langue et des bases de connaissances

Les modèles de langage (ML) ont montré qu'ils peuvent comprendre et créer à la fois un langage quotidien et un langage structuré. Cependant, les relier à des ressources du monde réel comme de grandes Bases de connaissances (BK) n'est pas encore bien développé. Ce vide affecte leur performance dans des tâches comme répondre à des questions basées sur des bases de connaissances, ce qui les amène souvent à inventer des infos. Cet article se penche sur les défis auxquels les ML font face quand ils essaient de répondre à des questions en utilisant des bases de connaissances, surtout quand les données sur lesquelles ils ont été formés ne correspondent pas à celles qu'ils rencontrent pour répondre.

#Le Problème avec la Distribution des données

Quand les ML sont formés, ils s'appuient sur des patterns trouvés dans les données. Si les données qu'ils affrontent dans une situation réelle sont différentes de ce qu'ils ont vu pendant l'entraînement, leur performance peut en pâtir. Ce décalage est particulièrement problématique dans les bases de connaissances, où la structure des données peut être complexe. Cet article se concentre sur plusieurs situations spécifiques où les incohérences peuvent poser problème, comme gérer de nouveaux sujets qu'ils n'ont pas rencontrés avant, comprendre différentes façons de poser la même question, et appliquer des connaissances à travers différents ensembles de données.

#L'Importance des Bases de Connaissances

Les bases de connaissances sont des outils puissants qui aident les ML à fournir des réponses précises. Par exemple, elles peuvent extraire des infos de sources comme Freebase ou Wikidata pour répondre à des questions. Même si les ML ont fait d'énormes progrès en matière de réponse aux questions, leur connexion avec les bases de connaissances a encore besoin d'exploration. Cet article met en avant trois lacunes clés dans la recherche actuelle.

1. Différents Types de Données : La plupart des évaluations des ML se concentrent sur des tâches en langage naturel, mais les bases de connaissances contiennent des données structurées. Cette différence complique la tâche de répondre avec précision aux questions.

2. Métriques d'Évaluation Limitées : Les métriques utilisées pour évaluer la performance des ML dans les réponses aux questions des bases de connaissances sont souvent superficielles, signifiant qu'elles ne capturent pas pleinement la capacité des ML à performer de manière fiable.

3. Connexions Manquantes : Les enquêtes et études sur la réponse aux questions des bases de connaissances négligent souvent les progrès réalisés avec les grands modèles de langage. Ce manque d'attention montre qu'il faut encore comprendre à quel point les ML peuvent gérer les défis associés aux bases de connaissances.

#Le Rôle de la Distribution des Données dans la Robustesse

L'efficacité des ML est étroitement liée aux données sur lesquelles ils sont formés. Dans des situations plus simples, les ensembles de données sont souvent plus cohérents et plus faciles à gérer. Cependant, les bases de connaissances peuvent être complexes et difficiles à représenter avec précision dans un ensemble d'entraînement. Ainsi, s'assurer que la distribution des données pendant l'entraînement soit en adéquation avec ce que les ML rencontreront dans le monde réel est crucial pour leur performance.

#Défis pour Connecter les ML aux Bases de Connaissances

La tâche de connecter les ML aux bases de connaissances inclut de nombreux défis. Cet article décrit quatre domaines clés qui nécessitent de l'attention :

1. Généralisation à des Domaines Non-Vus : Les ML doivent faire face à différents types de schémas sur lesquels ils n'ont pas été formés.

2. Adaptation à la Variation Linguistique : Les ML doivent gérer différentes façons de poser des questions qui peuvent signifier la même chose.

3. Transférabilité des Données : Les ML doivent appliquer ce qu'ils ont appris à différents ensembles de données pouvant utiliser de nouveaux éléments de schéma et styles de requêtes.

4. Apprentissage par Few-Shot : La connexion des ML devrait leur permettre d'apprendre à partir de très peu d'exemples.

En explorant ces domaines, on peut mieux comprendre la performance des ML dans des applications réelles.

#Approche Expérimentale

Pour analyser comment ces défis impactent les ML, l'article présente une série d'expériences visant à découvrir des problèmes de distribution des données. Il propose deux stratégies principales pour améliorer la performance :

1. Augmentation des Données : Cette méthode augmente la quantité de données d'entraînement, ce qui peut aider les ML à s'adapter plus efficacement à divers scénarios de bases de connaissances. Une méthode spécifique pour cela s'appelle GAIN (Recherche de Graphes et Génération de Questions).

2. Augmentation de récupération : Cette approche utilise des ML plus petits pour améliorer la qualité des informations que les modèles plus grands traitent en temps réel.

#Augmentation des Données avec GAIN

GAIN se compose de quatre étapes pour accroître les données d'entraînement :

1. Recherche de Graphes : Échantillonnage de formes logiques ou triples pertinents provenant de différents domaines de la base de connaissances. Cela garantit une plus grande variété de données d'entraînement.

2. Génération de Questions : Un modèle est formé pour transformer des formes logiques en questions en langage naturel.

3. Verbalisation : Utilisation des questions générées pour créer des questions synthétiques qui s'ajoutent à l'ensemble de données d'entraînement.

4. Expansion des Données d'Entraînement : Les données synthétiques sont utilisées pour entraîner des modèles ou pour enrichir des échantillons contextuels pour des modèles plus grands, garantissant que les ML ont des données d'entraînement plus robustes.

#Augmentation de Récupération pour les ML

L'augmentation de récupération vise à améliorer la façon dont les ML gèrent l'apprentissage contextuel en récupérant des échantillons de meilleure qualité. Le processus est le suivant :

1. Récupération de Questions : Pour une question donnée, des questions précédentes pertinentes sont trouvées à l'aide de méthodes comme BM25.

2. Récupération de Contexte : Des informations pertinentes de la base de connaissances sont récupérées pour aider les ML à ancrer leurs réponses avec précision.

#Évaluation de la Performance

Les expériences dans cet article analysent l'efficacité des approches proposées à travers divers critères établis. Des métriques comme Exact Match (EM), les scores F1 et Hits@1 sont utilisées pour mesurer la performance des modèles.

Les résultats montrent que les petits et grands ML avancés ont encore du mal avec plusieurs défis, même quand des techniques d'Augmentation de données sont appliquées. Les observations suggèrent que l'affinage des ML sur des ensembles de données spécifiques conduit à une bien meilleure performance que l'utilisation de techniques d'apprentissage par few-shot, qui souvent échouent.

#Généralisation au Niveau des Schémas

L'article se penche aussi sur la façon dont les modèles réagissent à des éléments de schéma non vus pendant les tests. Les résultats indiquent que plus les ML rencontrent des scénarios complexes, comme les conditions de zero-shot, plus leur performance chute significativement. Cela souligne la nécessité de continuer à améliorer les capacités de généralisation au niveau des schémas.

#Adaptation aux Paraphrases

Un autre aspect de l'évaluation concerne la capacité des ML à gérer des questions qui ont la même signification mais sont formulées différemment. Une mesure appelée écart-type est utilisée pour évaluer cette adaptabilité à travers différentes expressions. Les expériences suggèrent que bien que GAIN puisse améliorer la performance pour certains ensembles de données, cela peut aussi entraîner une plus grande variabilité dans les réponses, indiquant des difficultés à traiter différentes formulations.

#Transfert entre Ensembles de Données

Pour simuler des conditions du monde réel, l'article évalue comment les modèles formés sur un type d'ensemble de données performent sur un autre ensemble de données qu'ils n'ont pas vu avant. Les résultats confirment que même si les modèles bénéficient d'un pré-entraînement à grande échelle, ils ne se transfèrent pas toujours bien à de nouveaux ensembles de données. Des différences significatives dans les caractéristiques des données, comme les types de questions et les schémas utilisés, entraînent des baisses de performance.

#Limitations du Modèle d'Apprentissage

L'article souligne les limitations des méthodes d'apprentissage actuelles. Par exemple, de nombreux nouveaux ML dépendent fortement de l'apprentissage contextuel au lieu de l'affinage, ce qui peut limiter leur capacité à s'adapter à des environnements spécifiques. Les expériences suggèrent qu'il faut de meilleures façons d'intégrer des connaissances contextuelles tout en garantissant une performance robuste.

#Conclusion

Cet article souligne des défis cruciaux dans l'intégration des modèles de langage avec les bases de connaissances, en particulier le problème des distributions de données inconsistantes. Les méthodes proposées d'augmentation de données et de récupération visent à relever ces défis, mais les résultats montrent qu'une recherche plus poussée est nécessaire.

Les domaines clés pour la recherche future incluent l'amélioration des méthodes de collecte de données spécifiques aux environnements de bases de connaissances et l'exploration de paradigmes d'apprentissage avancés pour mieux ancrer les modèles de langage dans des applications pratiques. Il est clair que bien que les ML aient du potentiel, leur robustesse dans des contextes réels complexes nécessite d'importantes améliorations.