Codenames : Un test unique pour l'IA

Codenames est un Jeu de société basé sur des mots qui demande aux joueurs de collaborer en équipes pour identifier certains mots à partir d’indices donnés par leurs coéquipiers. Le jeu combine des éléments de compréhension linguistique, de stratégie et de travail d'équipe. Récemment, des chercheurs ont proposé d’utiliser Codenames comme moyen d’évaluer les capacités de raisonnement des Grands Modèles de Langue (GML). Ces modèles sont de gros programmes informatiques capables de traiter et de générer du texte ressemblant à celui des humains. Ils font pas mal de bruit dernièrement dans divers domaines, y compris les jeux.

Le twist intéressant, c’est que Codenames n’est pas qu’un jeu de soirée sympa ; il crée aussi un défi unique pour l’IA. Ça demande pas seulement une bonne maîtrise de la langue, mais aussi la capacité à penser à ce que quelqu’un d’autre pourrait penser—une sorte de match d'échecs mental pour l'IA.

#Le Jeu de Codenames

Codenames se joue avec deux équipes, chacune composée d'un Capitaine de Code et d'un Devineur. Le jeu commence avec un plateau comportant 25 mots. Chaque Capitaine de Code a une carte secrète montrant quels mots appartiennent à son équipe, lesquels sont neutres, et lesquels mènent à une défaite instantanée. Leur boulot est de donner un indice d'un mot qui relie le maximum de mots de leur équipe sans laisser entendre ceux de l'équipe adverse ou le mot assassin.

Par exemple, si les mots sur le plateau incluent "pomme", "orange" et "banane", le Capitaine de Code pourrait dire "fruit" (1) comme indice. Le Devineur, sachant qu'il doit trouver des mots liés à l'indice "fruit", peut choisir "pomme" ou "banane". S'il devine correctement, il peut continuer. Mais s'il choisit un mot qui appartient à l'équipe adverse ou au redoutable assassin, il perd.

On gagne le jeu lorsqu'un groupe identifie tous ses mots en premier, ou si une équipe choisit le mot assassin, menant à sa défaite immédiate. L'interaction sociale et la réflexion stratégique impliquées dans Codenames en font un jeu excitant pour des joueurs de tous âges.

#Pourquoi Codenames pour Tester l'IA ?

Utiliser Codenames pour évaluer les GML présente plusieurs avantages par rapport aux benchmarks plus traditionnels. D'abord, de nombreux tests existants se concentrent sur des tâches simples, comme répondre à des questions ou traduire du texte. Codenames, en revanche, exige un raisonnement nuancé—les joueurs doivent penser au langage, à la stratégie et au travail d'équipe en même temps. Ça représente un défi plus complexe, censé mimer la communication réelle et les processus cognitifs.

De plus, contrairement aux jeux de stratégie pure comme les échecs, qui ont été populaires pour tester l'IA, Codenames met l'accent sur le langage. Puisque les GML sont conçus pour gérer et générer du texte, il est parfaitement logique de voir comment ils s'en sortent dans un cadre où le langage est clé.

#Le Défi pour l'IA

Bien que les GML se soient rapidement améliorés, ils rencontrent encore des obstacles en matière de raisonnement et de jeu stratégique. Dans Codenames, donner un bon indice peut être délicat. Ça nécessite de prédire quels mots feront sens pour le Devineur et d’éviter les indices qui pourraient les mener vers les mots de l’équipe adverse. Cet aspect implique quelque chose qu’on appelle "théorie de l'esprit", où les joueurs doivent comprendre ce que les autres sont susceptibles de penser.

Donc, mettre les GML à l’épreuve dans Codenames révèle s'ils peuvent non seulement générer du texte mais aussi démontrer une compréhension du contexte et de la stratégie. Ce n’est pas juste un jeu de mots simple ; ça demande un peu de finesse et d’intelligence—pense à ça comme un match de lutte littéraire !

#La Conception de la Recherche

Dans la configuration de recherche, plusieurs GML à la pointe de la technologie ont été testés en utilisant Codenames. Cela incluait des modèles notables comme GPT-4o, Gemini 1.5, Claude 3.5 et Llama 3.1. Chaque modèle a été évalué à travers différents scénarios du jeu pour voir à quel point ils pouvaient fonctionner en tant que Capitaines de Code ou Devineurs.

#Versions du Jeu Explorées

Deux versions de Codenames ont été testées. La première était une version à équipe unique, où le seul but était de comprendre à quel point les agents pouvaient travailler ensemble pour identifier les mots de leur équipe. La deuxième version a introduit la compétition—deux équipes s'affrontant—mettant à l'épreuve les compétences collaboratives et stratégiques des GML.

#Version Équipe Unique

Dans cette version, le Capitaine de Code et le Devineur visaient à sélectionner tous leurs mots en le moins de tours possible. S'ils devinaient incorrectement, leur score était affecté, les poussant à faire des choix plus intelligents. L'objectif était de voir à quel point les modèles pouvaient générer des indices et faire des devinettes de manière fiable.

#Version Deux Équipes

La version à deux équipes a ajouté un twist compétitif. Ici, les Capitaines de Code devaient être plus stratégiques, pesant les risques de leurs indices par rapport au potentiel pour l'équipe adverse de deviner incorrectement. Ça rendait les choses beaucoup plus intenses, car le succès dépendait non seulement de l'identification de ses propres mots mais aussi de la capacité à sursmart l'adversaire.

#Les Résultats

#Performance des Modèles de Langue

Les résultats des expériences ont montré que, bien que certains GML aient mieux performé que d'autres, il n’y avait pas de gagnant clair dans toutes les dimensions. Chaque modèle avait ses forces et ses faiblesses, menant à des styles de jeu divers.

1. Risque vs. Prudence : L'analyse a révélé une corrélation entre le risque des indices des Capitaines de Code et le résultat du jeu. Ceux qui jouaient la sécurité avaient plus de chances de succès dans la version à équipe unique. Cependant, dans la version à deux équipes, une approche plus risquée menait souvent à plus de victoires.

2. Styles de Jeu Émergents : Les GML ont montré une gamme de comportements et de stratégies qui n'étaient pas toujours optimales. Certains modèles se concentraient trop sur une seule connexion, conduisant leurs devineurs à faire de mauvais choix. Parfois, cela a amené les joueurs à sélectionner des mots assassins, menant à une défaite rapide.

3. Dynamique d'Équipe : Lorsque les GML étaient associés, ils démontraient une plus grande adaptabilité comparé à lorsqu'ils s'associaient avec des agents traditionnels de mots. Les agents traditionnels avaient du mal quand ils étaient associés à différents modèles. Les GML, en revanche, ont montré une meilleure performance, indiquant une capacité à s'adapter de manière plus généralisable.

#Observations Qualitatives

Bien que le traitement des chiffres ait fourni des informations précieuses, la recherche a aussi noté des comportements particuliers des GML pendant le jeu.

1. Indices Saugrenus : Il y a eu des instances où les GML utilisaient des indices fictifs—comme "Poudlard"—qui n'étaient pas trouvés dans les listes de mots standard. Ça a montré leur compréhension unique du contexte, mais ça a aussi laissé des modèles traditionnels perplexes.

2. Respect des Règles : Parfois, les GML fournissaient des indices invalides ou faisaient des devinettes incorrectes. Parfois, ils ne pouvaient pas distinguer entre des indices valides et invalides basés sur les règles du jeu, causant quelques accrocs pendant le jeu. C'est comme quand quelqu'un essaie de prendre une part de pizza supplémentaire mais oublie qu'il y a des règles sur le partage !

3. Problèmes de Premier Mot : De nombreux Capitaines de Code mettaient souvent l'accent sur une seule connexion de mots, négligeant d'autres options viables. Leurs devineurs finissaient parfois par choisir des mots non liés à cause de cette focalisation étroite. C'est comme s'ils avaient oublié qu'ils étaient en équipe—"Hé, il y a plus d'un mot ici !"

#Implications pour la Recherche Future

Codenames offre un terrain de jeu précieux pour les chercheurs cherchant à étudier et à améliorer les capacités des GML. Voici quelques pistes prometteuses pour des études futures :

1. Comprendre le Comportement des Adversaires : Les expériences futures pourraient encourager les modèles à analyser les mouvements de l'équipe adverse. Cela montrerait à quel point l'IA peut s'adapter en fonction des actions des autres.

2. Améliorer la Donnée d'Indices : Les chercheurs pourraient ajuster la manière dont les GML génèrent des indices, peut-être en mesurant à quel point ils évoquent des connexions basées sur la situation ou des références culturelles. Cela pourrait mener à de meilleures stratégies de communication.

3. Associations de Mots : En testant différentes configurations de mots, les chercheurs peuvent observer comment les GML relient les mots. Des types de pools de mots variés pourraient aider à évaluer à quel point les modèles peuvent distinguer des mots étroitement liés ou identifier des références culturelles.

4. Expériences Multimodales : Pour une touche plus aventureuse, les chercheurs pourraient explorer des versions basées sur des images de Codenames pour défier le raisonnement visuel des GML, les poussant dans le domaine de la compréhension des images.

#Conclusion

Dans l'ensemble, utiliser Codenames comme référence s'est révélé bénéfique pour évaluer les compétences complexes de raisonnement et de stratégie des GML. L'interaction entre la compréhension linguistique et le travail d'équipe fait de Codenames une arène idéale pour tester les capacités de l'IA.

Alors que les chercheurs continuent d'explorer ce domaine, il ne s'agit pas seulement d'améliorer la performance de l'IA, mais aussi de rendre ces modèles plus accessibles dans les interactions humaines. Imagine avoir un ami IA qui peut te donner des indices malins en jouant à Codenames !

Et même s'ils peuvent encore trébucher sur quelques mots et te donner des indices un peu bizarres, souviens-toi—ils font de leur mieux dans ce jeu de mots ! La prochaine fois que tu joueras à Codenames, pense à ça comme aux mini-Olympiades des modèles de langage, où les athlètes sont faits de code et de mots, et le prix n'est que des droits de présomption (et peut-être un cookie).