Avancées dans l'apprentissage par renforcement multi-agents avec Lux AI v2

L'Apprentissage par renforcement multi-agents (MARL) étudie comment différents agents apprenants se comportent en travaillant dans le même environnement. C'est plus compliqué que de travailler avec un seul agent, car les actions et les récompenses de chaque agent dépendent de ce que font tous les autres. Un bon exemple où MARL est pertinent, c'est dans les jeux de stratégie en temps réel (RTS). Dans ces jeux, plein de joueurs interagissent en même temps, contrôlant diverses unités et prenant des décisions rapidement. La complexité des jeux RTS rend les méthodes classiques d'apprentissage par renforcement plus difficiles, ce qui les rend intéressants à étudier.

#La compétition Lux AI v2

Ce projet concerne la compétition Lux AI v2, où les participants créent des agents pour contrôler des flottes d'unités dans un scénario un contre un. Ils font face à des défis comme gérer des ressources, optimiser des actions, et rivaliser contre d'autres agents. Dans cette compétition, l'objectif est de rassembler le maximum de ressources possible, ce qui est crucial pour gagner. On entraîne les agents de manière centralisée et on partage les choix de design faits pendant le processus.

#Défis de l'apprentissage par renforcement

L'apprentissage par renforcement a bien fonctionné dans de nombreux domaines comme le jeu vidéo et la robotique. Cependant, la plupart des recherches se concentrent sur des environnements où il n'y a qu'un seul agent. Récemment, l'intérêt pour le MARL a augmenté, où plusieurs agents apprennent à travailler ensemble ou à se concurrencer. Des exemples notables incluent des systèmes ayant joué à des jeux comme Dota 2 et StarCraft II, où des équipes d'agents IA ont triomphé de professionnels humains.

Malgré ces succès, entraîner des systèmes MA complexes est difficile à cause de la puissance de calcul requise. Beaucoup de chercheurs ont du mal à contribuer des données significatives au domaine. Heureusement, de nouveaux environnements qui imitent les défis de jeux comme StarCraft ont été créés. Ces environnements permettent aux chercheurs d'essayer de nouvelles stratégies dans un cadre complexe mais plus accessible.

#L'environnement Lux

L'environnement Lux présente des défis uniques. Chaque joueur doit analyser diverses observations et prendre des décisions rapidement. Les joueurs émettent des actions pour leurs flottes d'unités, chacune avec ses propres capacités et restrictions. Les ressources sont limitées, et les joueurs doivent bien les gérer. L'environnement est dynamique, ce qui signifie que les conditions changent en fonction des actions des adversaires. Tous ces facteurs créent un scénario compliqué pour les techniques d'apprentissage par renforcement.

Dans l'environnement Lux, l'état du jeu peut être décrit grâce à un Processus de Décision de Markov Multi-Agent (MMDP). Cela signifie que l'environnement change en continu selon les actions de plusieurs agents. Chaque agent travaille ensemble pour maximiser une fonction de récompense, qui mesure à quel point ils performent bien dans le jeu.

#Attribution de crédit et fonctions de valeur

Un défi majeur est de déterminer quel agent mérite le crédit pour obtenir certaines récompenses. Certaines techniques se concentrent sur l'apprentissage de fonctions de valeur plus simples pour chaque agent. D'autres créent des systèmes de récompense spécialisés pour chaque agent. Cependant, ces méthodes supposent souvent que le nombre d'agents reste constant, ce qui n'est pas le cas dans Lux puisque des unités peuvent être créées ou détruites.

Certaines approches configurent l'environnement pour fonctionner comme un problème à un seul agent. Dans ce cas, les actions des agents deviennent imbriquées, mais ils font toujours face à des défis liés à la taille de l'Espace d'actions et à l'imprévisibilité de l'environnement. Dans ce projet, on adopte aussi une approche centralisée pour entraîner nos agents en utilisant un algorithme connu comme l'Optimisation de Politique Proximale (PPO).

#Créer un pipeline d'entraînement réussi

Entraîner des agents dans l'environnement Lux nécessite une conception soignée de divers composants. Les éléments clés de ce processus incluent la définition des espaces d'observation et d'action, la création d'un système de récompense, et l'établissement d'une architecture de modèle fonctionnelle. À mesure que l'environnement devient plus complexe, les exigences le deviennent aussi.

#Espace d'observation

On collecte les observations en créant des cartes de caractéristiques contenant des informations pertinentes sur le jeu. Ces cartes résument des détails importants, comme l'emplacement des ressources et des unités sur le terrain. Ces informations sont ensuite introduites dans un modèle qui aidera l'agent à prendre des décisions.

#Espace d'action

Dans Lux, les actions sont divisées entre les usines et les robots. Les usines peuvent créer des unités ou faire croître des ressources, tandis que les robots ont un éventail d'actions plus large, incluant se déplacer, creuser et transférer des ressources. L'espace d'action est organisé de manière à permettre à chaque type d'unité de fonctionner indépendamment tout en tenant compte de la stratégie globale. Les actions invalides sont filtrées pour s'assurer que l'agent apprend efficacement à partir d'expériences significatives.

#Distribution des récompenses

Pour gagner dans Lux, les agents doivent apprendre à générer des ressources efficacement. Une usine doit maintenir son approvisionnement en eau tout en faisant croître des ressources. Donc, on crée un système de récompense qui encourage les actions menant à la génération de ressources. Au début, les agents sont récompensés pour des actions basiques, et au fur et à mesure qu'ils s'améliorent, ils passent à un système de récompense plus complexe axé sur les résultats finaux du jeu.

#Auto-jeu

L'auto-jeu aide à peaufiner le processus d'apprentissage pour les agents. Dans ce contexte, un seul agent s'affronte à des versions de lui-même, ce qui lui permet d'apprendre de ses erreurs et succès passés. Cette stratégie aide à améliorer les compétences de l'agent au fil du temps.

#Entraînement du modèle

On utilise une architecture d'acteur-critique pour entraîner les agents. Cette structure divise le modèle en deux parties principales : l'une prédit les actions en fonction de l'état actuel, et l'autre évalue la qualité de ces actions. Le modèle utilise une pile de cartes de caractéristiques pour rassembler des informations, les traite à travers un réseau d'apprentissage profond, et produit des prédictions pour les actions que les agents devraient entreprendre.

Parce que l'apprentissage par renforcement nécessite beaucoup de données, et le MARL encore plus, entraîner les agents Lux prend du temps. Chaque session d'entraînement peut durer des heures, collectant des données qui aident les agents à améliorer leur performance. À la fin de l'entraînement, les agents devraient montrer une capacité à rassembler des ressources efficacement tout en gérant leurs unités.

#Résultats et observations

Le processus d'entraînement génère des données précieuses qui montrent à quel point les agents performent bien. Pendant l'entraînement, on mesure divers facteurs comme les scores de récompense et la durée des épisodes. Bien que les agents deviennent meilleurs pour rassembler des ressources avec le temps, il y a toujours un degré élevé de variabilité dans la performance. Cette variabilité vient du fait que chaque jeu est différent, ce qui complique la généralisation.

#Conclusions et travaux futurs

Ce projet jette les bases d'un cadre d'entraînement centralisé pour le MARL dans des environnements difficiles comme Lux. On aborde les défis rencontrés dans les jeux RTS et on justifie les choix de design faits tout au long du processus. En partageant notre travail sous un format open-source, on espère inspirer d'autres recherches et développements dans le domaine.

Il y a plein de manières d'améliorer notre modèle à l'avenir. On pourrait peaufiner les définitions des espaces d'observation et d'action, essayer différentes architectures de modèle mieux adaptées aux jeux RTS, et explorer comment mettre en œuvre des stratégies d'entraînement qui favorisent des expériences d'apprentissage variées. Augmenter notre modèle pourrait aussi améliorer la performance, permettant à plusieurs agents de s'entraîner simultanément.

En résumé, la compétition Lux AI v2 offre un environnement complexe et engageant pour tester des approches d'apprentissage par renforcement. En affinant nos stratégies et en partageant nos expériences, on peut continuer à repousser les limites des systèmes multi-agents et de leurs applications dans des environnements dynamiques.