L'IA apprend des processus de mémoire humaine

Les humains ne voient qu'une petite partie de leur environnement, mais on arrive quand même à prendre des décisions complexes grâce à notre mémoire à long terme. Cette recherche se concentre sur comment l'intelligence artificielle (IA) peut apprendre de ses expériences passées et utiliser ces infos pour décider, même sans tous les détails.

On a créé un environnement spécial appelé processus de décision de Markov partiellement observable (POMDP). Dans cet environnement, un agent IA doit répondre à des questions tout en se déplaçant dans un labyrinthe. Le labyrinthe est construit sur un graphe de connaissances (KG), une manière d'organiser l'info que les humains et les ordinateurs peuvent comprendre. Grâce aux KG, on peut facilement voir ce que l'IA se rappelle et ce qu'elle oublie.

On a formé différents types d'agents IA avec divers systèmes de mémoire pour comparer leur gestion de mémoire à celle des humains. Le but est de découvrir comment l'IA peut mieux se souvenir des infos pour résoudre des problèmes.

#Comment les humains utilisent la mémoire

Les humains s'appuient sur la mémoire à long terme pour naviguer et prendre des décisions. Par exemple, quand on explore une ville qu'on connaît, on se rappelle de la configuration et des points de repère grâce à nos souvenirs. Cette capacité de mémoire nous aide à décider, même si on ne voit pas tout autour. Quand on répond à des questions, on puise dans notre mémoire à long terme pour trouver des faits et des concepts pertinents.

Malgré de nombreuses études, on ne comprend toujours pas totalement comment fonctionne la mémoire à long terme. Les chercheurs ont identifié comment on encode, stocke et récupère des souvenirs, mais les règles exactes qui gouvernent ces processus restent floues. Comprendre la gestion de la mémoire est important, non seulement pour la science cognitive, mais aussi pour créer de meilleurs systèmes IA. En apprenant comment les humains gèrent leurs souvenirs, on peut concevoir des IA qui imitent ces processus.

#L'objectif de cette recherche

Notre recherche vise à créer un environnement où on peut étudier les stratégies de gestion de mémoire en IA, reliant les processus cognitifs humains aux systèmes IA. Les principales contributions de notre travail incluent :

1. Conception d'un environnement basé sur un graphe de connaissances : On a créé un environnement compatible avec des plateformes existantes où un agent doit répondre à des questions en naviguant dans un labyrinthe. Cet environnement peut être ajusté pour différents niveaux de difficulté.

2. Comparaison des systèmes de mémoire : On a comparé différents systèmes de mémoire chez les agents IA et discuté de leur relation avec la gestion de mémoire humaine.

3. Recherche d'une politique de gestion de mémoire optimale : On a découvert que les agents les plus efficaces étaient ceux qui apprenaient à gérer leur mémoire, leur permettant de capter les infos les plus pertinentes.

#Mémoire similaire à celle des humains dans les machines

Les progrès récents en science cognitive et IA ont mené à la création de machines capables d'utiliser des systèmes de mémoire semblables à ceux des humains. Certaines études ont montré que quand l'IA intègre les deux types de mémoire-sémantique (connaissances générales) et épisodique (expériences spécifiques)-elle performe mieux que celle qui n’utilise qu’un seul type.

La Mémoire épisodique nous permet de nous rappeler des événements spécifiques liés à des temps et des lieux, tandis que la Mémoire sémantique concerne les connaissances générales sans contexte spécifique. Par exemple, savoir que Paris est la capitale de la France est une mémoire sémantique, alors que se souvenir d'un voyage à la Tour Eiffel est une mémoire épisodique.

Pour faire fonctionner la mémoire dans une machine, les chercheurs ont utilisé une méthode qui ajoute des détails supplémentaires aux enregistrements de mémoire. Cette addition aide à faire la différence entre mémoires épisodiques et sémantiques. Les Graphes de connaissances sont utiles ici, car ils aident à organiser l'info d'une manière compréhensible pour les gens et les machines.

#Apprentissage par renforcement et POMDP

L'apprentissage par renforcement (RL) est une stratégie utilisée quand chaque action ne peut pas être supervisée, ce qui est souvent le cas dans la gestion de la mémoire. Résoudre un problème RL est formulé comme un processus de décision de Markov (MDP) ou un MDP partiellement observable (POMDP), qui prennent en compte l'observabilité partielle.

Dans notre configuration POMDP, un agent interagit avec l'environnement au fil du temps mais ne peut voir qu'une partie de celui-ci. L'agent choisit des actions sur la base d'infos incomplètes et met à jour ses croyances sur l'environnement au fur et à mesure qu'il reçoit de nouvelles observations. L'objectif est de choisir des politiques qui maximisent les récompenses au fil du temps.

Les états de croyance sont importants dans les POMDP, représentant les croyances de l'agent sur l'environnement. L'agent maintient un état de croyance qui est mis à jour au fur et à mesure que des actions sont prises et de nouvelles observations reçues. Cependant, maintenir ces états de croyance est intensif au niveau computationnel, car cela nécessite de suivre les probabilités sur une vaste gamme d'états possibles.

Pour alléger ce fardeau, on peut utiliser les observations passées comme une estimation grossière de l'état actuel. Cette approche évite d'avoir à mettre à jour constamment l'état de croyance.

#L'environnement des pièces

On a créé l'environnement des pièces pour tester les agents IA avec mémoire à long terme. Cet environnement consiste en plusieurs pièces, chacune remplie d'objets différents. Certains objets sont fixes, tandis que d'autres se déplacent selon certaines règles. L'agent navigue à travers ces pièces selon sa politique d'exploration, qui le guide vers des infos précieuses tout en répondant à des questions.

Dans ce cadre, les graphes de connaissances représentent les états cachés des pièces, montrant où les objets sont situés. L'agent ne peut voir qu'une pièce à la fois, donc il dépend de sa mémoire des observations précédentes.

Les graphes de connaissances dynamiques permettent de capturer les changements dans le temps, car ils fournissent des infos sur les mouvements et les relations entre les objets. L'agent ne peut observer qu'une partie de ce graphe, ce qui signifie qu'il doit se fier à ce qu'il se rappelle pour prendre de bonnes décisions.

#Objectifs d'apprentissage pour les agents IA

Notre agent de base utilise des observations passées pour estimer l'état actuel. Il répond à des questions avec les infos les plus récentes disponibles. Cependant, on a introduit un autre agent, appelé HumemAI, qui a un système de gestion de mémoire plus complexe séparant mémoire à court terme et mémoire à long terme.

HumemAI traite la situation actuelle dans la mémoire à court terme et décide s'il faut garder, convertir ou oublier cette info. Il peut transférer des mémoires à court terme en mémoire épisodique (expériences spécifiques) ou sémantique (connaissances générales). De plus, un facteur de déclin exponentiel est appliqué pour garder les mémoires pertinentes dans le temps.

Le processus d'entraînement pour HumemAI est structuré en deux phases. D'abord, on se concentre sur l'apprentissage de la gestion des mémoires. Une fois que la gestion de la mémoire est optimisée, on travaille sur l'amélioration de la politique d'exploration qui utilise la mémoire acquise pour la navigation.

#Algorithme d'apprentissage

Pour nos agents, on a utilisé un algorithme RL basé sur la valeur pour rendre l'apprentissage efficace. On a choisi une méthode spécifique qui empêche la surestimation des valeurs état-action et aide à généraliser l'apprentissage à travers diverses actions. L'approche implique de minimiser la différence entre les récompenses prédites et les expériences réelles.

Le processus d'apprentissage est conçu pour permettre aux deux types d'agents de s'adapter et de s'améliorer. HumemAI apprend deux politiques, une pour la gestion de la mémoire et une autre pour l'exploration, tandis que l'agent de base a un design plus simple sans besoin de divers types de mémoire.

#Expérimentation et résultats

Dans nos expériences, on a évalué comment la taille des mémoires influençait les performances. On a créé des variations de HumemAI pour tester uniquement la mémoire épisodique et uniquement la mémoire sémantique, ce qui nous a permis de voir comment chaque type contribuait au succès général.

Les deux agents ont été formés avec un nombre fixe d'épisodes. Les agents HumemAI ont constamment surperformé leurs homologues de base, surtout ceux utilisant les deux types de mémoire. Fait intéressant, avoir des historiques d'observation plus longs pour les agents de base n'a pas automatiquement conduit à de meilleurs résultats.

On a aussi noté des différences dans l'efficacité de l'entraînement, avec HumemAI n'ayant besoin que de moins de temps pour atteindre des niveaux de performance solides par rapport aux agents de base plus simples.

#Conclusion

Cette recherche illustre une nouvelle manière d'aborder la prise de décision en IA en utilisant des systèmes de mémoire semblables à ceux des humains. L'environnement des pièces nous a permis d'étudier comment les agents utilisent la mémoire à long terme tout en naviguant et répondant à des questions basées sur des observations limitées.

Les recherches futures pourraient explorer comment améliorer l'apprentissage simultané de la gestion de mémoire et des politiques d'exploration ou expérimenter avec différents types de modèles pour améliorer encore les performances. Dans l'ensemble, nos résultats mettent en lumière le potentiel d'incorporer des processus de mémoire semblables à ceux des humains dans les systèmes IA pour renforcer leurs capacités de résolution de problèmes.