Que signifie "MANGUE"?
Table des matières
MANGO est un test conçu pour voir à quel point les modèles de langage peuvent gérer la cartographie et la navigation avec du texte. Il comprend 53 labyrinthes issus de jeux textuels. Chaque labyrinthe est accompagné d'un guide qui montre tous les emplacements sans couvrir tous les itinéraires possibles.
La Tâche
Dans chaque labyrinthe, le modèle de langage lit le guide et doit répondre à plein de questions sur comment se déplacer, comme les directions pour aller d'un endroit à un autre. Alors que ces questions sont simples pour les humains, même les modèles de langage les plus avancés ont du mal avec ça.
Importance
Améliorer les compétences de cartographie et de navigation dans les modèles de langage pourrait les aider à mieux performer dans des tâches connexes, comme jouer à des jeux textuels. MANGO vise à soutenir les futures recherches qui cherchent à rendre les modèles de langage meilleurs dans ces tâches.