O que significa "MANGA"?
Índice
MANGO é um teste feito pra ver como os modelos de linguagem conseguem lidar com mapeamento e navegação usando texto. Tem 53 labirintos de jogos baseados em texto. Cada labirinto vem com um guia que mostra todos os locais sem cobrir todas as rotas possíveis.
A Tarefa
Em cada labirinto, o modelo de linguagem lê o guia e tem que responder várias perguntas sobre como se mover, tipo direções pra ir de um lugar pra outro. Enquanto essas perguntas são fáceis pra gente, até os modelos de linguagem mais avançados têm dificuldade com elas.
Importância
Melhorar as habilidades de mapeamento e navegação nos modelos de linguagem pode ajudar eles a se saírem melhor em tarefas relacionadas, como jogar jogos de texto. O MANGO tem como objetivo apoiar trabalhos futuros que buscam tornar os modelos de linguagem melhores nessas tarefas.