「マンゴー」とはどういう意味ですか？
目次
MANGOは、言語モデルがテキストを使ったマッピングやナビゲーションをどれくらいうまく扱えるかを調べるためのテストだよ。テキストベースのゲームから53個の迷路があって、各迷路にはすべての場所を示すガイドがついてるけど、ルートは全部カバーしてないんだ。
タスク
各迷路では、言語モデルがガイドを読んで、どこからどこに行くかの方向を教える質問にたくさん答えなきゃいけないんだ。これらの質問は人間には簡単だけど、最も進んだ言語モデルでも苦労するんだよ。
重要性
言語モデルのマッピングやナビゲーションスキルを改善することができれば、テキストゲームをプレイするような関連タスクでもより良くできるようになるかもしれない。MANGOは、将来の言語モデルをこれらのタスクでより良くするための研究をサポートすることを目指してるんだ。