Évaluation des grands modèles de langage en tant que bases de connaissances

Les grands modèles de langage (LLMs) sont des programmes informatiques intelligents qui peuvent comprendre et créer du texte. Ils ont appris beaucoup en lisant une énorme quantité de documents écrits. Cependant, des questions se posent sur leur capacité à se souvenir des faits et à réfléchir à des Informations complexes, surtout sur le monde.

Cet article examine si les LLMs peuvent garder beaucoup d'informations, se souvenir de ces infos quand on leur demande et tirer des conclusions de ce qu'ils savent. On compare leurs capacités avec des bases de données de connaissances établies comme Wikidata, qui contient une vaste quantité d'informations factuelles.

#Objectifs de l'Étude

On veut en savoir plus sur trois choses importantes concernant les LLMs :

1. À quel point les LLMs de différentes tailles peuvent-ils se souvenir des faits d'une grande base de connaissances ?
2. À quel point ces modèles peuvent-ils facilement rappeler ces connaissances quand on leur pose des questions dans un langage courant ?
3. Peuvent-ils inventer de nouveaux faits en raisonnant à partir de ce qu'ils savent déjà ?

Notre recherche montre que les LLMs peuvent être assez utiles comme bases de données, mais ils doivent s'améliorer en Raisonnement pour atteindre leur plein potentiel.

#Comprendre l'Accès aux Connaissances

Les connaissances sont essentielles pour que les LLMs accomplissent des tâches et fournissent des réponses fiables. Des études ont montré que ces modèles mémorisent beaucoup de savoirs factuels et linguistiques à partir de leurs données d'entraînement. Cela les rend importants pour les tâches de langage naturel.

Cependant, de nombreuses études existantes se concentrent principalement sur la façon dont les LLMs utilisent les informations apprises pendant leur formation. Ces études montrent que les LLMs ont du mal quand ils sont confrontés à des connaissances moins courantes à cause de problèmes liés aux données sur lesquelles ils ont été entraînés.

D'un autre côté, les bases de données de connaissances traditionnelles comme Wikidata sont conçues pour stocker et organiser les informations d'une manière qui fournit des connaissances équilibrées et claires. Par exemple, Wikidata a plus de 108 millions d'entrées sur divers sujets.

#Défis avec de Grandes Bases de connaissances

Travailler avec de grandes bases de données de connaissances peut être un défi. À mesure que la taille de la base de données augmente, cela nécessite plus de puissance de calcul et de temps pour extraire des informations spécifiques ou comprendre des informations complexes.

De plus, les bases de données de connaissances ont généralement un format strict pour stocker les informations, ce qui les rend moins flexibles lorsqu'il s'agit de répondre à des questions de manière naturelle.

#Notre Approche

Dans notre recherche, nous avons entraîné des LLMs à mémoriser des connaissances de Wikidata, qui sert de base de données de connaissances à grande échelle. On pense qu'avec leur capacité, les LLMs peuvent gérer beaucoup d'informations et fournir des réponses flexibles. On a spécifiquement regardé à quelle vitesse et efficacité les modèles peuvent apprendre de nouveaux faits, à quel point ils étaient flexibles pour répondre à des questions, et s'ils pouvaient générer de nouvelles connaissances par le raisonnement.

#Entraîner des Modèles sur des Bases de Connaissances

Les bases de données de connaissances contiennent des faits dans un format structuré, généralement sous forme de triplets composés d'un sujet, d'une relation et d'un objet. Par exemple, le triplet pourrait être ("Musée Paléontologique", "architecte", "Leonhard Romeis"). Notre objectif est d'entraîner les LLMs sur une base de données de connaissances à grande échelle comme Wikidata, qui a beaucoup de connaissances précises sur le monde.

Lors de la préparation du jeu de données, on a filtré les informations non pertinentes comme les URL et les images. Après avoir nettoyé les données, on a collecté un total de 46 millions de triplets, représentant un mélange de connaissances courantes et moins courantes.

#Examiner les Tailles de Modèle et la Mémorisation

On a entraîné deux types différents de LLMs, T5 et LLaMA-2, de tailles variées. L'entraînement impliquait de convertir les données de triplets en entrée de texte pour les modèles. L'objectif était que le modèle apprenne à prédire l'objet à partir du sujet et de la relation donnés en entrée.

On a aussi voulu améliorer l'efficacité de la mémorisation en utilisant une technique appelée échantillonnage d'importance. Cette méthode nous a permis de nous concentrer sur l'apprentissage des faits plus difficiles à mémoriser plus souvent durant l'entraînement.

#Résultats des Tests de Mémorisation

Nos tests ont montré que les LLMs sont capables de mémoriser une grande partie des connaissances de Wikidata. En général, les modèles plus grands étaient capables d'apprendre plus vite. Cependant, on a constaté que les connaissances moins courantes étaient plus difficiles à mémoriser, peu importe la taille du modèle.

#Évaluer la Flexibilité des Réponses

Pour évaluer à quel point les modèles pouvaient répondre à des questions en langage courant, on a affiné les modèles entraînés avec un jeu de données de questions-réponses en langage naturel. Avec des ajustements minimes, les modèles ont obtenu des performances nettement meilleures que ceux qui n'étaient pas entraînés sur la base de connaissances. Cela suggère que les LLMs peuvent récupérer et organiser efficacement les connaissances, peu importe comment l'information est présentée.

#Capacités de Raisonnement des LLMs

On a aussi exploré si les LLMs pouvaient générer de nouvelles connaissances qui n'étaient pas présentes dans la base de données d'origine. On a créé un jeu de données avec des faits manquants et testé la capacité des LLMs à combler ces lacunes.

On s'est concentré sur deux types de raisonnement :

• Raisonnement inverse qui consiste à inverser le sujet et l'objet d'un triplet pour voir si le modèle peut inférer la relation.
• Raisonnement compositionnel qui lie deux relations différentes pour produire une nouvelle.

Nos conclusions ont suggéré que même si les LLMs pouvaient inférer certains faits manquants, ils avaient plus de mal avec le raisonnement inverse par rapport au raisonnement compositionnel. Cela montre qu'il y a encore de la place pour améliorer les capacités de raisonnement des LLMs.

#Importance de la Base de Connaissances

Les bases de données de connaissances comme Wikidata détiennent des connaissances concises et organisées qui peuvent aider les LLMs à répondre aux questions. L'information dans ces bases de données est plus facile d'accès comparé aux données d'entraînement brutes. En continuant d'entraîner les LLMs sur des bases de connaissances riches, on peut les aider à mieux se souvenir des informations et potentiellement améliorer leurs compétences en raisonnement.

#Conclusion

Dans cette recherche, on avait pour but de voir si les LLMs pouvaient fonctionner comme des bases de données à grande échelle. On a proposé une méthode pour améliorer l'efficacité de la mémorisation des informations d'une base de connaissances. Notre évaluation a montré que les LLMs pouvaient rappeler une quantité significative de connaissances et répondre de manière flexible aux requêtes.

Cependant, bien qu'ils aient montré des améliorations dans l'inférence de nouveaux faits par le raisonnement, la quantité de connaissances acquises ne garantit pas de meilleures compétences en raisonnement, surtout en ce qui concerne le raisonnement inverse.

Cette étude ouvre des portes pour de futures recherches sur comment mieux utiliser les LLMs comme bases de données et pour améliorer davantage leurs capacités de raisonnement.

#Directions Futures

À l'avenir, on prévoit d'explorer des façons d'améliorer les compétences en raisonnement des LLMs en se concentrant sur le raisonnement inverse et d'autres processus logiques. De plus, d'autres études pourraient se pencher sur les défis des connaissances moins courantes et sur l'équilibre des informations stockées dans les LLMs.

Dans l'ensemble, les résultats indiquent que les LLMs ont un grand potentiel en tant que bases de connaissances mais nécessitent encore des développements pour réaliser pleinement leurs capacités en raisonnement et en gestion des connaissances.