Faire progresser les modèles de langue avec des systèmes de mémoire structurée

Les grands Modèles de langage (LLMs) ont montré qu'ils pouvaient gérer des tâches nécessitant des Connaissances spécifiques. Cependant, ils gardent principalement l'info dans leurs paramètres, ce qui limite leur mémoire. Ça veut dire qu'ils peuvent galérer avec des faits rares et perdre des infos avec le temps. De plus, leur façon de stocker les souvenirs rend difficile de comprendre pourquoi ils produisent parfois des infos incorrectes ou inventées. Les méthodes actuelles pour améliorer la mémoire, comme les pools de mémoire, ne règlent pas tous les problèmes. Bien que des méthodes comme la génération augmentée par recherche (RAG) aient fait des progrès, elles ont aussi des soucis d'organisation et de compréhension des Mémoires stockées.

On présente une nouvelle méthode pour améliorer les LLMs en ajoutant un système de mémoire clair de lecture et d'écriture. Cette méthode permet aux modèles d'utiliser mieux la mémoire et les aide à récupérer les connaissances stockées. Nos tests montrent que ce système améliore les performances et rend le langage produit par les LLMs plus précis et informatif.

#Défis de la mémoire dans les modèles linguistiques

Les LLMs traditionnels peuvent générer des infos incorrectes, connues sous le nom d'hallucinations. Cela arrive parce qu'ils dépendent principalement de leurs paramètres pour la mémoire. Quand ils rencontrent des infos rares ou des faits qui s'estompent avec le temps, ils ont du mal à s'en souvenir. Éditer ces modèles peut aider, mais ça affecte souvent leurs performances globales, menant à plus de problèmes. Les méthodes de mémoire actuelles comme les pools de mémoire aident à garder l'info plus longtemps, mais avec des limites de capacité et de clarté. RAG cherche à tirer parti de connaissances externes en intégrant des documents, mais son approche non structurée peut entraîner confusion et inefficacité.

De plus, ajouter des composants de mémoire non paramétriques aux LLMs qui interagissent avec eux par le langage ou des APIs structurées a montré des améliorations dans certaines tâches. Cependant, ces méthodes nécessitent souvent une personnalisation poussée pour chaque tâche et manquent d'une structure de mémoire claire, ce qui peut freiner les performances.

#Introduction d'un nouveau système de mémoire

On introduit un nouveau modèle de langage équipé d'un composant de mémoire explicite. Ce modèle permet de stocker et d'accéder à l'info tout au long de son traitement, pas seulement dans un contexte limité. La mémoire explicite est organisée de manière structurée, un peu comme une base de Données, ce qui la rend interprétable et modifiable.

Le système de mémoire permet au modèle d'écrire des infos pendant qu'il traite du texte et de lire la mémoire quand c'est nécessaire. Cette interaction renforce la capacité du modèle à se souvenir et à utiliser les faits efficacement. Le système repose sur une API qui détaille comment le LLM peut accéder à la mémoire, ce qui aide à guider le processus d'apprentissage.

#Comment fonctionne le système de mémoire

Pour entraîner le modèle à utiliser la mémoire efficacement, on a créé un ensemble de données d'exemples montrant comment émettre des commandes de lecture et d'écriture en mémoire. En affûtant le modèle avec cet ensemble, on peut l'améliorer pour accéder à la mémoire sans changer sa structure de base.

La mémoire est formatée pour stocker des relations d'une manière facile à comprendre pour les humains. Chaque morceau d'info stocké se compose de trois parties : un sujet, un objet et une relation, similaire à comment fonctionnent les bases de données. Cette structure facilite la récupération d'infos pertinentes quand c'est nécessaire.

#Lecture et écriture en mémoire

Quand le modèle lit en mémoire, il génère des commandes pour récupérer des infos basées sur le contexte de sa tâche actuelle. S'il se rend compte que l'accès aux connaissances stockées pourrait améliorer son output, il demandera à la mémoire les infos pertinentes. Il peut faire ça à différents moments du processus de génération de texte, s'assurant d'avoir les infos les plus précises sur lesquelles travailler.

Quand il écrit en mémoire, le modèle regarde d'abord le contexte du texte. Il identifie les relations importantes à stocker et génère une commande pour sauvegarder cette info dans la mémoire. Ce processus se répète pendant que le modèle travaille sur des textes plus longs, le rendant capable de se souvenir d'un large éventail de faits.

#Avantages du nouveau système de mémoire

Notre nouvelle approche de la mémoire vient avec plusieurs avantages :

1. Meilleure rétention des connaissances : La mémoire structurée permet de stocker des connaissances et des relations importantes que les modèles standards pourraient manquer.

2. Réponses améliorées aux requêtes : Le LLM peut accéder à sa mémoire dynamiquement, ce qui mène à des réponses plus précises et fondées.

3. Interprétabilité accrue : Comme la mémoire est structurée, les utilisateurs peuvent inspecter et éditer son contenu facilement, ce qui renforce la compréhension et le contrôle global.

4. Scalabilité : La mémoire peut croître pour accueillir plus d'infos sans perdre de performance, grâce à son design similaire aux bases de données.

5. Interopérabilité : Le contenu de la mémoire peut être transféré à différents modèles, permettant de la flexibilité à travers diverses plateformes ou tâches.

#Évaluation des performances

Dans nos tests, on a évalué l'efficacité de notre modèle à l'aide d'un ensemble de données de référence appelé DOCRED. Les résultats ont montré des améliorations significatives en performance comparées aux bases qui n'incorporent pas de composants mémoire. Les améliorations ont été notées dans la qualité globale de génération de langage et l'exactitude des réponses concernant les entités nommées.

Les tests ont révélé que notre modèle pouvait gérer différentes tâches mieux que ceux sans mémoire explicite. Par exemple, le composant mémoire a facilité la gestion des entités cibles dans une conversation ou un texte, le rendant plus fiable.

#Travaux connexes

Plusieurs études précédentes se sont concentrées sur l'amélioration de la mémoire dans les modèles linguistiques. Certaines approches ont cherché à ajouter des paramètres entraînables pour le stockage d'infos à long terme, tandis que d'autres, comme la génération augmentée par recherche (RAG), ont cherché à améliorer les modèles en récupérant des extraits de texte basés sur des prompts. Cependant, ces méthodes ont souvent dû faire face à des défis pour gérer le contexte et garantir la récupération d'infos pertinentes.

Les travaux précédents ont introduit une mémoire paramétrique, où les contextes passés sont mémorisés en utilisant des mécanismes comme les architectures récurrentes. En revanche, notre méthode n'a pas de limitations sur le nombre de relations pouvant être stockées. La mémoire de notre modèle est explicite et peut être facilement comprise et modifiée.

#Design et structure de la mémoire

La mémoire que nous avons conçue stocke des informations sous forme de triples de relations structurées. Chaque triple contient un sujet, un objet et une relation. Par exemple, la déclaration "La Tour Eiffel est à Paris" serait stockée comme un triple avec "Tour Eiffel" comme sujet, "Paris" comme objet, et "est à" comme relation.

La mémoire stocke à la fois des représentations textuelles et vectorielles pour faciliter la recherche et la récupération. Ces vecteurs aident à reconnaître différentes formes de la même entité - comme "USA" et "États-Unis" - en veillant à ce que les requêtes renvoient des résultats pertinents.

#Gestion efficace des requêtes

Notre modèle génère des requêtes spécifiques pour récupérer des infos en mémoire. En se concentrant sur des requêtes précises, le modèle peut rassembler des infos utiles sans s'encombrer de données non pertinentes. On a conçu des modèles pour les requêtes et veillé à ce qu'elles soient suffisamment spécifiques pour donner des résultats exploitables.

Le processus de récupération en mémoire implique d'identifier des entités candidates basées sur leur similarité avec la requête. Si une requête est trop large et renvoie trop de résultats, elle sera filtrée pour maintenir la qualité des infos récupérées.

#Entraînement du modèle

L'entraînement du modèle implique l'utilisation d'un ensemble de données dérivé de DOCRED, qui comprend des entités annotées et leurs relations. On a construit des exemples d'entraînement qui aident le modèle à comprendre quand écrire en mémoire et quand en lire.

Pour les écritures en mémoire, le modèle examine chaque phrase, identifie les relations et génère des commandes pour les stocker. Pour les lectures en mémoire, il apprend à identifier quand interroger la mémoire pour des infos utiles, rendant ses prédictions plus informées et précises.

#Métriques d'évaluation

On s'est concentré sur la perplexité comme principale métrique d'évaluation, mesurant à quel point le modèle générait du langage. On a rapporté la perplexité en trois catégories : globale, entité cible et toutes les entités. Des scores de perplexité plus bas indiquent une meilleure performance. Nos expériences ont montré que le nouveau système de mémoire a significativement amélioré les trois mesures.

#Analyse des fonctionnalités de mémoire

En analysant les processus de lecture et d'écriture en mémoire, on peut évaluer à quel point le modèle accède et utilise efficacement ses infos mémorisées. Nos résultats suggèrent que des lectures de mémoire correctes aident à réduire les cas d'hallucinations et de sorties incorrectes.

Les écrits en mémoire sont aussi vitaux car ils établissent la qualité des infos dans la mémoire. On a trouvé que l'utilisation de positions de lecture en mémoire dorée et de requêtes peut aider à obtenir des scores de perplexité plus bas, montrant l'importance de la précision dans les phases de lecture et d'écriture.

#Mise à l'échelle et implications du système de mémoire

En pratique, avoir une grande base de données mémoire peut améliorer la capacité d'un modèle à gérer divers contextes et à conserver des connaissances au fil du temps. On a examiné comment la taille de la mémoire affecte les performances. Bien qu'il puisse y avoir des défis avec une taille accrue, notre modèle a réussi à maintenir des performances même avec un nombre significatif de relations stockées.

Étant donné l'architecture robuste de notre système de mémoire, il peut bien s'adapter aux applications du monde réel, permettant des réponses précises dans des tâches comme le question-réponse et la synthèse.

#Directions futures

En regardant vers l'avenir, il y a plusieurs opportunités excitantes pour étendre ce système de mémoire. On espère ajouter divers types de relations pour augmenter la capacité du modèle à traiter les informations. De plus, on prévoit de tester notre modèle sur différentes tâches au-delà de la génération de langage, comme la synthèse et le question-réponse ouvert.

Améliorer le processus de récupération pour s'assurer que les requêtes soient aussi efficaces que possible tout en prenant en compte le contexte sera également un axe de travail. Des améliorations dans la gestion de la mémoire peuvent mener à encore plus de précision et d'efficacité dans les futurs modèles.

#Conclusion

Notre approche innovante pour intégrer un système de mémoire structuré dans les LLMs représente un pas en avant significatif pour rendre les modèles de langage plus précis et fiables. En permettant une interaction dynamique avec la mémoire et en renforçant la capacité du modèle à se rappeler des connaissances stockées, on peut améliorer les performances dans diverses tâches et réduire la génération d'infos inexactes. Le design de mémoire explicite rend non seulement le modèle plus facile à interpréter, mais ouvre aussi des portes pour une meilleure scalabilité et des applications dans un large éventail de contextes.