Le rôle du schéma d'attention dans l'apprentissage de l'IA

L'Attention est devenue une grosse partie des systèmes d'apprentissage profond. Ça aide les modèles à choisir sur quoi se concentrer, au lieu de juste se fier à des poids fixes. Y a une nouvelle idée qui s'appelle le Schéma d'attention (AS), qui est comme un filtre qui décrit et prédit l'attention. En science du cerveau, cette idée est soutenue par la Théorie du Schéma d'Attention (AST). Selon cette théorie, un agent peut utiliser son propre schéma d'attention pour deviner sur quoi les autres agents se concentrent, ce qui les aide à mieux collaborer. Ça rend l'Apprentissage multi-agents parfait pour tester l'AST.

On regarde comment l'attention et l'AS s'influencent mutuellement. Les premières découvertes suggèrent que les agents utilisant l'AS comme un genre de Contrôle interne s'en sortent mieux. Globalement, ces tests montrent que donner aux agents artificiels un modèle d'attention peut les rendre plus conscients socialement.

Dans l'apprentissage profond, l'attention peut être vue comme un moyen de gérer le flux d'information. Au cours des dix dernières années, les mécanismes d'attention ont évolué d'anciennes méthodes vers de grands modèles qui gèrent le langage et les images. Les Transformers ont montré à quel point l'attention peut être utile dans différentes tâches, comme comprendre des séquences et traiter des images.

Alors que les transformers ont créé une structure générale où les biais viennent des données, il y a encore de la place pour un contrôle plus profond du flux d'information. Les liens entre les neurones offrent un contrôle de base, tandis que l'attention introduit un contrôle dynamique. L'idée d'ajouter une couche de contrôle supplémentaire vient de l'ingénierie : un bon contrôleur a un modèle de ce qu'il gère. Plus précisément, un modèle prédictif de l'attention peut aider à améliorer le fonctionnement de l'attention, optimisant l'allocation des ressources dans des environnements changeants.

Des études montrent qu'un modèle simple d'attention peut vraiment aider un agent artificiel à accomplir des tâches basiques, tandis qu'un manque de tel modèle mène à de mauvais résultats.

L'AST suggère que le cerveau humain, et peut-être d'autres cerveaux, crée un modèle d'attention. Ce modèle intérieur est une collection cohérente d'informations qui capture les principales caractéristiques de l'attention et comment elle change au fil du temps. Ce modèle aide à prédire où l'attention devrait aller, en la gardant concentrée sur les bons objets.

Il y a deux principales prédictions de cette théorie qu'on examine. D'abord, l'attention peut fonctionner sans un schéma d'attention, mais ça ne sera pas aussi efficace. Ensuite, ce schéma d'attention est aussi utile pour comprendre l'attention des autres agents, puisque les mêmes processus fonctionnent pour l'attention de soi et celle des autres.

Créer un modèle détaillé et adaptable d'attention est difficile pour l'IA, surtout que le langage et la pensée de haut niveau doivent s'y connecter. Cet article ne vise pas à tout aborder mais plutôt à poser les bases pour des recherches futures. Plus précisément, on se demande : Est-ce que donner aux agents des capacités d'auto-surveillance peut améliorer leur contrôle sur leur puissance de traitement limitée ?

Pour étudier ça, on implémente un contrôle interne comme un réseau récurrent et l'attention comme un mécanisme clé-valeur. On teste ensuite cinq façons différentes dont l'attention et le contrôle interne peuvent travailler ensemble. Une idée forte de l'AST est qu'un agent peut utiliser son attention et son contrôle interne pour comprendre l'attention des autres, ce qui devrait améliorer la coordination. Donc, on vérifie ces hypothèses dans des scénarios multi-agents où la coopération est clé.

On propose que l'Apprentissage par renforcement basé sur un modèle offre des avantages par rapport aux approches sans modèle. Les données du monde réel coûtent cher à collecter, mais créer un modèle environnemental peut augmenter l'efficacité et améliorer l'exploration, ce qui est crucial pour appliquer l'apprentissage par renforcement dans des contextes réels. Cette étude s'inscrit dans ce concept ; plutôt que de se concentrer sur des éléments dans l'environnement et de récompenser en fonction de meilleurs résultats, un simple modèle d'attention peut diriger le comportement plus efficacement.

On explore cinq hypothèses différentes sur la façon dont l'attention est liée à son contrôle interne.

#Relations Entre Attention et Contrôle Interne

1. Attention et Contrôle Interne Sont Identiques : Ça sert de base. Chez les gens, il y a des cas où l'attention se produit sans contrôle interne actif, menant à une performance plus faible.

2. Contrôle Interne Précède l'Attention : Ici, le système ne peut se concentrer que sur ce qui a été modélisé, donc les stimuli externes n'obtiennent pas d'attention immédiate. C'est problématique car l'attention est souvent nécessaire pour connecter différentes parties d'une représentation. Sans ça, la représentation peut manquer de force.

3. Attention Précède le Contrôle Interne : Dans ce cas, le système ne peut modéliser que ce qui est attentif. Cette idée est proche de ce que l'AST suggère mais manque de flexibilité.

4. Contrôle Interne et Attention Sont Indépendants : Les deux processus fonctionnent en même temps, ce qui semble peu probable étant donné leur relation étroite chez les humains.

5. Contrôle Interne de l'Attention : Ça reflète le mieux l'AST. Le contrôle interne modélise l'attention et peut la gérer, permettant une coordination maximale entre les agents.

#Contexte et Méthodes

L'étude se concentre sur des tâches multi-agents où les agents doivent travailler ensemble. On teste cinq relations différentes entre l'attention et le contrôle interne dans deux environnements : GhostRun et MazeCleaners.

Environnement GhostRun : Dans ce défi, plusieurs agents voient seulement des parties du cadre, rempli de fantômes mobiles et d'arbres et obstacles stationnaires. Le but est de s'éloigner des fantômes et de minimiser combien sont vus.

Environnement MazeCleaners : Dans ce labyrinthe, les agents coopèrent pour nettoyer les alentours rapidement. Ils doivent éviter les murs tout en collectant des récompenses pour nettoyer des zones spécifiques.

Les modules d'attention et de contrôle interne sont conçus selon les cinq hypothèses. Les modules d'attention peuvent sélectionner des informations dynamiquement à partir de ce que les agents observent. Le contrôle interne utilise des réseaux neuronaux récurrents pour traiter les entrées au fil du temps. Tous les setups sont entraînés avec les mêmes techniques d'apprentissage par renforcement.

#Expériences et Résultats

On a planifié nos expériences pour voir quelle combinaison d'attention et de contrôle interne performe le mieux dans un environnement coopératif. Nos résultats préliminaires indiquent que la cinquième hypothèse, en accord avec l'AST, atteint les meilleurs résultats.

On a aussi testé des variations de la cinquième hypothèse, en ajustant comment le contrôle interne interagit avec l'attention. Les configurations étaient :

• Pas de Contrôle : Pas de masque binaire ou de contrôle appliqué.
• Contrôle sur les Actions : Masques binaires appliqués aux actions, pas à l’attention.
• Contrôle sur la Sortie : Le masque est appliqué à la sortie d'attention, pas directement à l'attention.
• Prédiction dans la Politique : Dans ce cas, la prédiction faite par le module de contrôle interne alimente le réseau de politique.

Nos tests suggèrent que deux variations (5.4 et 5.5) ont produit les meilleures performances.

#Généralisation et Apprentissage Continu

On a comparé les performances de différents setups dans une situation d'apprentissage changeante où la difficulté des tâches augmente avec le temps. On a reproduit les principales découvertes dans l'environnement MazeCleaners, confirmant que l'hypothèse 5.4 a performé le mieux.

#Discussion et Directions Futures

Cette recherche a montré qu'utiliser un contrôle interne qui modélise l'attention est bénéfique pour coordonner les agents vers un but commun. Bien que notre travail initial soutienne la valeur du schéma d'attention dans l'apprentissage multi-agents, il faut explorer davantage comment le contrôle interne fonctionne dans divers contextes.

Pour l'avenir, on prévoit de tester ces idées dans des environnements plus complexes, allant des espaces 3D simples aux jeux vidéo réalistes et même en robotique. Cette progression vise à créer des agents capables d'interagir efficacement avec les gens.

Actuellement, le module de contrôle interne est un réseau neuronal récurrent basique. Bien qu'il capture les idées principales de comment les schémas d'attention devraient fonctionner, ce n'est toujours pas un modèle complet de l'attention.

De plus, on n'a pas examiné comment le module de contrôle interne pourrait aider avec les compétences linguistiques et d'autres fonctions cognitives avancées. Les futures études vont voir si ce contrôle peut représenter et prédire l'attention des autres, ce qui pourrait être crucial pour les interactions sociales.

Les applications de ce travail sont vastes. Un modèle d'attention détaillé peut conduire à de meilleures décisions, surtout dans des environnements distrayants. De plus, utiliser des schémas d'attention pour évaluer le focus d'autres agents sera utile dans des scénarios où comprendre les adversaires et la communication efficace sont clés.