Cosa significa "MANGO"?
Indice
MANGO è un test pensato per vedere quanto bene i modelli di linguaggio riescono a gestire la mappatura e la navigazione usando il testo. Ha 53 labirinti tratti da giochi basati su testo. Ogni labirinto viene fornito con una guida che mostra tutte le posizioni senza coprire ogni possibile percorso.
Il Compito
In ogni labirinto, il modello di linguaggio legge la guida e deve rispondere a molte domande su come muoversi, come le indicazioni per andare da un posto all'altro. Anche se queste domande sono semplici per le persone, anche i modelli di linguaggio più avanzati faticano con esse.
Importanza
Migliorare le abilità di mappatura e navigazione nei modelli di linguaggio potrebbe aiutarli a fare meglio in compiti simili, come giocare a giochi testuali. MANGO punta a supportare lavori futuri che cercano di rendere i modelli di linguaggio migliori in questi compiti.