Faire avancer le clonage comportemental avec des méthodes basées sur la recherche

Le clonage comportemental est une méthode où un agent apprend à réaliser des tâches en observant des démonstrations d'experts. Ça repose sur un dataset de ces démonstrations pour construire une politique comportementale. Mais, il y a des défis pour apprendre et adapter la politique, surtout face à de nouvelles situations. Cet article parle d'une nouvelle approche appelée clonage comportemental basé sur la recherche (S-BC), qui aide un agent à apprendre plus efficacement de ses expériences passées.

#Énoncé du Problème

Le clonage comportemental a souvent du mal à cause de quelques soucis. D'abord, ça demande généralement beaucoup de puissance de calcul pour entraîner les modèles. Ensuite, quand un agent se retrouve dans de nouvelles situations, il a souvent besoin d'être réentraîné, ce qui prend du temps. Et puis, il y a le problème de l'adaptabilité : les agents ne peuvent généralement pas s'ajuster rapidement à de nouvelles tâches sans formation supplémentaire. Beaucoup d'études examinent ces défis dans des domaines comme le traitement du langage et la reconnaissance d'images, mais il reste encore beaucoup à faire. Trouver de nouvelles façons de former des agents pourrait aider à résoudre ces problèmes, surtout dans des situations spécifiques.

#Espace latent

Un espace latent multi-modal peut mesurer la similarité entre différentes situations. Une façon courante de créer cet espace est à travers des techniques comme l'apprentissage contrastif et l'apprentissage supervisé. Dans l'apprentissage supervisé, les dernières couches d'un modèle peuvent être utilisées pour former cet espace latent multi-modal. Pour les Tâches de contrôle, un tel espace relie les expériences visuelles aux actions démontrées par des experts. Chercher dans cet espace peut fournir à l'agent les actions dont il a besoin pour agir dans des situations réelles. Cette méthode peut aider à répondre aux principaux défis du clonage comportemental.

#Motivation pour l'Étude

Cette étude est motivée par un défi lié à un jeu appelé Minecraft. Dans ce défi, un agent doit accomplir quatre tâches : trouver une grotte, construire un enclos pour animaux, construire une maison de village et créer une cascade. Les tâches n'ont pas de fonction de récompense, ce qui rend nécessaire l'évaluation basée sur le jugement humain. Des contracteurs humains évaluent le succès de l'agent et à quel point il imite le comportement humain. Les participants avaient accès à des démonstrations d'experts de ces tâches.

La façon la plus simple de réaliser les tâches serait par le clonage comportemental. Mais cette approche est limitée par les démonstrations d'experts disponibles pour la formation. Les agents se retrouvent face à des situations différentes pendant le jeu, où certaines peuvent impliquer d'éviter des obstacles tandis que d'autres nécessitent de chercher des lieux. Différentes situations demandent différentes actions pour réussir.

#Clonage Comportemental Basé sur la Recherche (S-BC)

Pour surmonter les limitations du clonage comportemental traditionnel, on introduit le clonage comportemental basé sur la recherche. Cette approche crée un espace latent à partir des Trajectoires d'experts, qui capture à la fois les expériences actuelles et passées, et reformule la tâche comme un problème de recherche. En cherchant la situation la plus proche dans l'ensemble des trajectoires d'experts, S-BC permet à l'agent de s'adapter aux conditions qu'il rencontre pendant l'évaluation.

Le modèle utilisé pour cette étude traite les entrées visuelles à travers un CNN IMPALA, passant les informations par des têtes de transformateur pour prédire des actions basées sur l'état actuel de l'agent. Le mécanisme de recherche suit la distance entre la situation actuelle et une situation de référence. Si la distance dépasse un seuil, une nouvelle recherche se produit pour trouver une situation de référence plus appropriée.

#Travaux Connexes

Le clonage comportemental a été efficace dans diverses tâches de contrôle, y compris la conduite autonome et le jeu. Malgré sa popularité en raison de sa simplicité, il rencontre plusieurs problèmes, comme la confusion entre cause et effet, et les changements dans la distribution des situations. D'autres méthodes comme l'apprentissage par renforcement inverse et l'imitation par adversaire génératif ont été proposées pour traiter ces préoccupations mais nécessitent souvent des ressources de calcul significatives et sont difficiles à entraîner pour des problèmes complexes.

Un modèle récemment introduit, le modèle de Pré-Formation Vidéo (VPT), sert de base pour le clonage comportemental. Ce modèle a été entraîné sur une quantité substantielle de contenu vidéo disponible en ligne, lui permettant d'exécuter des tâches simples sans fine-tuning ou apprentissage par renforcement extensif.

#Notre Approche

Notre objectif est de s'attaquer à un problème difficile dans Minecraft, où aucune récompense explicite n'est fournie. Les seules données disponibles sont un ensemble de trajectoires d'experts qui démontrent comment accomplir une tâche spécifique. L'idée clé derrière notre méthode est de traiter le problème de contrôle comme un problème de recherche parmi ces démonstrations.

Nous utilisons un modèle VPT pré-entraîné pour encoder les situations dans un espace latent. Le modèle utilisé pour cette étude est accessible via un dépôt public et se décline en trois versions avec des poids différents.

#Clonage Comportemental Basé sur la Recherche Expliqué

S-BC récupère des expériences passées pertinentes à partir des démonstrations d'experts pour résoudre des problèmes de contrôle. Une situation est définie comme un ensemble de paires observation-action consécutives. En utilisant VPT, nous extrayons des embeddings d'un sous-ensemble du dataset de démonstration. Ces embeddings créent un espace latent multi-dimensionnel que S-BC explore. L'hypothèse que les experts ont agi de manière optimale dans leurs situations aide à s'assurer que l'agent apprend des actions efficaces.

Lors des tests, la situation actuelle passe aussi par VPT, et S-BC cherche l'embedding le plus proche dans l'espace latent. La similarité est mesurée en utilisant la distance L1. Les actions de la situation sélectionnée sont copiées. À mesure que l'agent progresse, les distances entre les situations actuelles et de référence sont recalculées. Si elles divergent au fil du temps, une nouvelle recherche est déclenchée.

S-BC est conçu pour fonctionner plus rapidement que les méthodes traditionnelles comme le fine-tuning d'un agent basé sur VPT ou l'utilisation de techniques d'apprentissage par renforcement. Chaque observation de l'environnement Minecraft est encodée par VPT, et si la situation actuelle diverge de la référence, une nouvelle situation appropriée est sélectionnée.

#Aperçu de l'Expérience

Le dataset utilisé pour nos expériences se compose de 5466 trajectoires d'experts provenant de la compétition MineRL BASALT. Chaque trajectoire inclut des paires image-action représentant un seul épisode où un expert humain a accompli une tâche. Notre étude se concentre sur un petit sous-ensemble de ces démonstrations. Nous avons également rassemblé des trajectoires d'experts supplémentaires pour les tâches MineDojo.

L'évaluation de S-BC implique de le comparer à d'autres modèles à la pointe dans le domaine de Minecraft. Chaque modèle est ajusté sur les données collectées, et nous entraînons également un modèle d'imitation par adversaire génératif (GAIL) pour améliorer l'efficacité d'entraînement en réduisant la complexité de l'espace d'observation. Différentes tâches du cadre MineDojo servent de benchmarks pour la performance de notre modèle.

#Évaluation des Performances

Nous évaluons S-BC par rapport à plusieurs modèles en utilisant des résultats numériques du cadre MineDojo. Les tâches tombent dans deux catégories : les tâches avec vérité de terrain, qui ont des objectifs bien définis, et les tâches créatives, qui n'en ont pas. Le processus d'évaluation inclut la mesure des taux de réussite et des temps de réalisation des tâches.

Pour des tâches spécifiques, comme le combat et la récolte, S-BC performe constamment à ou au-dessus du niveau des autres modèles. Notamment, S-BC a pu compléter des tâches de combat pendant que d'autres modèles peinaient. En complétant les tâches de récolte, S-BC montre seulement une légère chute de performance par rapport à des modèles d'apprentissage beaucoup plus grands. Dans des situations où GAIL n'a pas pu exécuter aucune des tâches, S-BC a montré des avantages clairs.

#Situations Uniques et Variabilité des Performances

Le processus d'évaluation prend aussi en compte les situations uniques rencontrées pendant le jeu. Par exemple, les agents peuvent entrer dans une grotte mais ne pas passer suffisamment de temps à l'intérieur pour être considérés comme ayant réussi. Les Évaluations manuelles identifient ces instances non standards.

De plus, nous examinons comment le nombre de trajectoires d'experts impacte la performance de S-BC. Cette analyse illustre comment le modèle peut avoir du mal avec peu de trajectoires à cause de données et de connaissances insuffisantes pour naviguer dans les complexités. Augmenter le nombre de trajectoires améliore considérablement la capacité de S-BC.

#Visualisation de l'Espace Latent

Pour mieux comprendre notre approche, nous visualisons l'espace latent utilisé par S-BC. La représentation t-SNE nous permet d'observer et d'analyser la position de différents cadres, surtout ceux indiquant des grottes par rapport à des cadres d'exploration. Cette visualisation révèle comment l'agent navigue dans l'espace et réagit à différentes situations.

#Conclusion

Nous avons introduit le clonage comportemental basé sur la recherche, une méthode innovante qui utilise les expériences passées d'experts pour aborder les problèmes de contrôle rencontrés par les agents. Nos expériences montrent que S-BC performe de manière similaire ou meilleure que les modèles existants. Cette méthode nécessite moins de temps d'entraînement et permet un apprentissage avec peu d'exemples tout en maintenant la capacité à gérer des tâches multi-compétences efficacement.

Grâce à S-BC, les agents sont capables d'imiter un comportement humain tout en accomplissant des tâches complexes dans des environnements comme Minecraft. Les résultats d'évaluation indiquent que notre approche peut égaler ou dépasser la performance des méthodes établies sans besoin de réentraînement ou de fine-tuning extensif.

Alors qu'on continue à améliorer cette méthode, le potentiel d'applications pratiques dans divers domaines devient de plus en plus évident, ouvrant la voie à des agents plus efficaces et adaptables, tant dans des environnements simulés que dans le monde réel.