Évaluer les modèles de langage comme des simulateurs du monde

Les environnements virtuels sont super importants pour tester de nouvelles idées dans des tâches de planification et de prise de décision complexes. Mais créer ces environnements peut coûter cher et être compliqué. Ça soulève la question : est-ce que les modèles de langage actuels peuvent servir de simulateurs de monde ? Est-ce qu'ils peuvent prédire avec précision comment les actions vont changer différents états du monde sans avoir besoin de coder à fond ? Cet article essaie de répondre à cette question.

#Introduction

Les jeux textuels expriment leur environnement et leurs actions en langage naturel, ce qui les rend adaptés pour évaluer les capacités des modèles de langage. Les récents développements des modèles de langage montrent qu'ils peuvent potentiellement utiliser l'énorme quantité d'infos de leurs données d'entraînement pour des tâches qui nécessitent de simuler comment le monde fonctionne.

Pour analyser ça, on a conçu un nouveau benchmark qui inclut des données sur les changements d'état des jeux textuels et des tâches associées. On s'est concentré sur à quel point les modèles de langage peuvent agir comme des simulateurs de monde basés sur du texte. Notre recherche utilise principalement le modèle connu sous le nom de GPT-4 pour tester son efficacité, et on a trouvé que, même s'il fonctionne bien, on peut pas encore compter dessus comme un simulateur de monde fiable.

#Méthodes

On a fait une analyse systématique de GPT-4 pour trouver ses forces et ses limites dans la simulation d'environnements virtuels. Notre test inclut deux méthodes : l'une consiste à générer une représentation symbolique du monde du jeu, tandis que l'autre se concentre sur la simulation directe du jeu.

1. Approche neurosymbolique : Cette méthode utilise les modèles de langage pour créer du code qui permet de planifier ou de raisonner de manière formelle. Un exemple est le système Reasoning via Planning (RAP), qui construit un modèle du monde en utilisant les connaissances du modèle de langage et applique une méthode de planification dédiée pour déterminer les actions.

2. Approche de Simulation Directe : Cette méthode utilise AI-Dungeon, qui représente le monde du jeu uniquement par la sortie du modèle de langage. Cependant, ça donne des résultats incohérents.

Notre analyse vise à fournir une mesure quantitative de la capacité des modèles de langage à simuler des environnements. On utilise des données structurées au format JSON pour améliorer l'exactitude et évaluer les capacités du modèle dans différentes conditions.

#Dataset

On a créé un dataset de 76 369 transitions provenant de 31 jeux textuels différents qui représentent divers changements d'état. On a collecté ces données à partir d'un corpus ouvert plus large de jeux, en modifiant chaque jeu pour suivre son état et ses transitions. Ça nous a permis de créer une base de données complète pour tester les capacités de simulation des modèles de langage.

Chaque jeu a aussi des infos contextuelles détaillant comment les actions affectent l'état du jeu, ainsi que des infos sur les objets dans le jeu et le système de score. Notre dataset est composé de descriptions écrites par des humains et de celles générées par le modèle de langage lui-même.

#Tâches de Simulation

On a défini une tâche de prédiction appelée LLM-Sim pour évaluer la fiabilité du modèle de langage en tant que simulateur. Cette tâche teste à quel point le modèle peut déterminer le prochain état du jeu après qu'une action a été effectuée, la récompense pour les actions, et si les objectifs du jeu ont été atteints.

#Types de Prédictions

1. Prédiction de l'État Complet : Dans cette tâche, le modèle sort l'état complet du jeu après qu'une action a été effectuée.

2. Prédiction de la Différence d'État : Dans cette tâche, le modèle ne rapporte que les changements entre l'état actuel et le prochain état du jeu.

3. Prédiction de Progrès du Jeu : Ici, le modèle prédit le score actuel du jeu et si le jeu est terminé ou gagné.

On évalue la capacité du modèle à réaliser ces tâches sous diverses conditions, y compris la présence ou l'absence de règles contextuelles.

#Résultats

Dans l'ensemble, notre analyse a montré que les modèles de langage, en particulier GPT-4, ont du mal à représenter certaines transitions, surtout celles qui nécessitent de raisonner sur le monde au-delà des actions immédiates. La précision la plus élevée enregistrée était de 59,9 %, ce qui indique qu'il y a encore beaucoup de place pour s'améliorer.

#Prédictions de Transition

1. Prédire les changements d'état directement liés aux actions s'avère plus facile que de prédire les dynamiques sous-jacentes du jeu.
2. Les transitions statiques sont généralement plus faciles à prédire que les dynamiques.
3. Sans règles de jeu fournies, la performance du modèle a tendance à décliner.

#Comparaisons Humaines

On a aussi comparé la performance du modèle de langage avec celle des annotateurs humains. Dans nos tests, la précision des humains a largement dépassé celle de GPT-4, ce qui suggère que même si les modèles montrent des promesses, ils sont actuellement limités dans leurs capacités.

#Défis et Limites

Quelques défis clés incluent :

• Raisonnement Arithmétique et de Bon Sens : Beaucoup d'erreurs apparaissent quand le modèle doit utiliser des calculs ou des connaissances communes de base pour prédire les changements d'état.
• Dépendance aux Règles de Jeu : La présence de règles clairement définies améliore significativement la performance du modèle.
• Précision en Un Seul Étape : Un modèle qui performe correctement en prédictions d'une seule étape peut ne pas être fiable sur plusieurs étapes.

Du coup, même si les modèles de langage montrent des possibilités pour un futur développement dans les tâches de simulation, leur utilité est limitée pour l'instant.

#Considérations Éthiques

Utiliser des modèles de langage dans ce contexte soulève des préoccupations éthiques. Il y a un risque de désinformation si un modèle de langage génère des infos incorrectes ou trompeuses. Donc, il est conseillé d'être prudent dans le déploiement de tels modèles dans des environnements où ils interagissent directement avec des utilisateurs, surtout des enfants.

#Conclusion

Les modèles de langage comme GPT-4 offrent un potentiel énorme pour simuler des interactions de monde dans des jeux textuels, mais ils ne sont toujours pas fiables en tant que simulateurs. La recherche met en lumière le besoin d'avancées et d'innovations supplémentaires pour améliorer leur précision. En comprenant leurs forces et faiblesses actuelles, on peut avancer vers le développement de meilleurs simulateurs capables de reproduire efficacement des dynamiques mondiales complexes.