Was bedeutet "MANGO"?
Inhaltsverzeichnis
MANGO ist ein Test, der darauf abzielt, wie gut Sprachmodelle mit Karten und Navigation umgehen können, indem sie Text verwenden. Es enthält 53 Labyrinthe aus textbasierten Spielen. Jedes Labyrinth kommt mit einem Leitfaden, der alle Standorte zeigt, ohne jede mögliche Route abzudecken.
Die Aufgabe
In jedem Labyrinth liest das Sprachmodell den Leitfaden und muss viele Fragen beantworten, wie man sich bewegt, zum Beispiel wie man von einem Ort zum anderen kommt. Während diese Fragen für Menschen einfach sind, haben selbst die fortschrittlichsten Sprachmodelle damit Schwierigkeiten.
Bedeutung
Die Verbesserung der Karten- und Navigationsfähigkeiten in Sprachmodellen könnte ihnen helfen, bei verwandten Aufgaben, wie dem Spielen von Textspielen, besser abzuschneiden. MANGO soll zukünftige Arbeiten unterstützen, die darauf abzielen, Sprachmodelle in diesen Aufgaben besser zu machen.