Présentation de PLAYER*: Un Nouveau Cadre IA pour les Jeux de Meurtre Mystère
PLAYER* améliore la communication et la résolution de problèmes pour les agents dans des scénarios de meurtre mystérieux.
― 6 min lire
Table des matières
- Défis dans les approches actuelles
- C'est quoi PLAYER* ?
- Conception du dataset WellPlay
- Structure du jeu
- Comment fonctionne PLAYER*
- Composants de PLAYER*
- Affinage des questions et des actions
- Configuration expérimentale et méthodologie
- Évaluation des performances
- Aborder la subjectivité dans l'évaluation
- Conclusion
- Directions futures
- Dernières réflexions
- Source originale
- Liens de référence
Les améliorations récentes des grands modèles de langage (LLMs) ont facilité la communication et l'interaction des agents IA dans différents contextes. Cependant, créer des agents capables de penser et d'agir efficacement dans des environnements humains dynamiques, en particulier dans des scénarios compétitifs et coopératifs, reste un défi. Cet article présente PLAYER*, un nouveau cadre d'IA conçu pour améliorer les capacités de communication et de résolution de problèmes des agents dans les jeux de mystère de meurtre.
Défis dans les approches actuelles
Malgré les avancées des LLMs, de nombreux agents ont du mal à comprendre les complexités des interactions sociales humaines. La plupart des agents existants reposent sur des méthodes structurées qui peuvent ne pas bien fonctionner dans des environnements imprévisibles. Ces méthodes sont souvent insuffisantes pour traiter des situations nécessitant un raisonnement social nuancé, comme les jeux coopératifs où les joueurs interagissent par la conversation.
C'est quoi PLAYER* ?
PLAYER* est un cadre qui utilise une méthode flexible pour planifier et raisonner dans des jeux complexes. Il combine des LLMs avec un planificateur basé sur un échantillonnage à tout moment, ce qui lui permet de s'adapter à des situations changeantes en posant des questions pertinentes. Cette nouvelle approche offre un moyen d'optimiser la planification des chemins dans des environnements nécessitant des interactions sociales complexes.
Conception du dataset WellPlay
Pour évaluer l'efficacité de PLAYER*, un dataset appelé WellPlay a été créé. Ce dataset comprend 1 482 paires de questions et réponses basées sur les interactions dans les jeux de mystère de meurtre. Les questions portent sur les relations entre les personnages, les objectifs et le raisonnement derrière des actions spécifiques. En utilisant WellPlay, les chercheurs peuvent mesurer la performance de PLAYER* et d'autres agents de manière structurée.
Structure du jeu
Dans un jeu typique de mystère de meurtre, les joueurs prennent différents rôles, y compris celui du meurtrier ou d'un civil. Le jeu se compose de plusieurs étapes, commençant par les joueurs qui apprennent à connaître leurs personnages et leurs objectifs. Ils s'engagent ensuite dans des discussions pour rassembler des informations et déduire qui parmi eux est le meurtrier. L'étape finale consiste à voter pour déterminer le suspect.
Comment fonctionne PLAYER*
Composants de PLAYER*
Pour faire agir les agents comme des joueurs humains, PLAYER* inclut plusieurs caractéristiques clés :
- Règles du jeu : Chaque joueur a des informations essentielles sur le jeu.
- Chaîne de réflexion : Cela aide à raisonner étape par étape.
- Capteurs : Ceux-ci évaluent les facteurs émotionnels et motivationnels lors des interactions.
- Récupération de mémoire : Cela garde une trace des dialogues et des informations partagées pendant le jeu.
- Réflexion personnelle : Cela aide les agents à analyser leurs décisions en fonction des expériences passées.
Affinage des questions et des actions
Dans PLAYER*, les agents utilisent une stratégie de questionnement dynamique pour interagir avec d'autres joueurs. Ils posent des questions en fonction des valeurs détectées par leurs capteurs, se concentrant sur des éléments comme l'émotion, la motivation et le soupçon. Ainsi, les agents peuvent affiner leurs cibles et prendre des décisions plus éclairées sur qui interroger ensuite.
Configuration expérimentale et méthodologie
Les expériences menées pour évaluer PLAYER* ont consisté à comparer ses performances avec celles d'autres algorithmes multi-agents dans des scénarios similaires. Différents modèles, y compris GPT-3.5, ont été utilisés pour la conversation et la récupération de mémoire. Les résultats ont montré que PLAYER* était plus performant que d'autres modèles pour atteindre les objectifs du jeu grâce à un questionnement efficace.
Évaluation des performances
PLAYER* a été testé en utilisant le dataset WellPlay pour évaluer sa compréhension des objectifs et des relations entre personnages. Le système de notation attribuait des points en fonction de la capacité des agents à atteindre les objectifs du jeu, à raisonner correctement et à fournir des informations supplémentaires pertinentes. PLAYER* a surpassé d'autres méthodes, en particulier pour les questions basées sur les objectifs, démontrant sa force à gérer des situations complexes.
Aborder la subjectivité dans l'évaluation
Les méthodes d'évaluation actuelles pour mesurer la performance des agents reposent souvent sur des interprétations subjectives, ce qui peut entraîner des résultats biaisés. PLAYER* aborde cela en utilisant une méthode d'évaluation quantifiable avec des questions à choix multiples. Cette approche offre des métriques plus claires pour comparer les performances des différents agents.
Conclusion
PLAYER* représente une avancée significative dans le développement d'agents IA pour des environnements interactifs complexes comme les jeux de mystère de meurtre. En optimisant la communication et le raisonnement grâce à une stratégie de planification unique, il ouvre de nouvelles avenues pour la recherche et l'application dans les systèmes multi-agents. La création du dataset WellPlay renforce encore la capacité d'évaluer et d'améliorer les performances des agents IA dans ces contextes dynamiques.
Directions futures
Alors que PLAYER* continue d'évoluer, les recherches futures pourraient explorer son application dans divers autres scénarios de jeu au-delà des mystères de meurtre. En ajustant les règles et les objectifs, le cadre peut être adapté à différents types de jeux. L'objectif est de créer une IA qui peut interagir sans effort avec les joueurs humains, offrant une expérience de jeu plus riche tout en naviguant dans des dynamiques sociales complexes.
Dernières réflexions
Le développement de PLAYER* est un pas vers la création d'agents IA plus intelligents et capables de s'engager dans des interactions significatives. À mesure que la technologie progresse, les possibilités pour l'IA dans le jeu et d'autres environnements interactifs continueront d'expanser, ouvrant la voie à des expériences plus immersives et agréables pour les joueurs.
C'était un aperçu de PLAYER*, un nouveau cadre d'IA conçu pour améliorer la communication et la résolution de problèmes dans les jeux de mystère de meurtre. En se concentrant sur des stratégies de questionnement efficaces et en créant une méthode d'évaluation quantifiable, PLAYER* améliore la façon dont les agents IA interagissent dans des environnements dynamiques. L'avenir s'annonce prometteur pour les agents intelligents alors qu'ils continuent de se développer et d'apprendre de leurs expériences dans les jeux.
Titre: Questioning the Unknown: Optimising Multi-Agent Collaboration in Narrative-Driven Games
Résumé: We present Questum, a novel framework for Large Language Model (LLM)-based agents in Murder Mystery Games (MMGs). MMGs pose unique challenges, including undefined state spaces, absent intermediate rewards, and the need for strategic interaction in a continuous language domain. Questum addresses these complexities through a sensor-based representation of agent states, a question-targeting mechanism guided by information gain, and a pruning strategy to refine suspect lists and enhance decision-making efficiency. To enable systematic evaluation, we propose WellPlay, a dataset comprising 1,482 inferential questions across 12 games, categorised into objectives, reasoning, and relationships. Experiments demonstrate Questum's capacity to achieve superior performance in reasoning accuracy and efficiency compared to existing approaches, while also significantly improving the quality of agent-human interactions in MMGs. This study advances the development of reasoning agents for complex social and interactive scenarios.
Auteurs: Qinglin Zhu, Runcong Zhao, Jinhua Du, Lin Gui, Yulan He
Dernière mise à jour: 2024-12-20 00:00:00
Langue: English
Source URL: https://arxiv.org/abs/2404.17662
Source PDF: https://arxiv.org/pdf/2404.17662
Licence: https://creativecommons.org/licenses/by/4.0/
Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.
Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.