ゲームを通じて言語モデルの推論スキルを評価する

大きな言語モデル（LLM）の評価は通常、言語スキルに重きを置くけど、このアプローチだとこれらのモデルがどれだけ一般的に推論できるかを見逃すかもしれないんだ。私たちは、GPT-3.5やGPT-4のようなLLMがテキストを扱うだけ以上のことができるかを調べたんだ。特に言語に直接関わらないタスクに関して、これらのモデルはもっと広い考え方ができると信じてる。

この考えをテストするために、Tic-Tac-Toe、Connect Four、Battleshipなどのいろんなゲームを使ったんだ。シンプルなテキストキャラクターを使ってこれらのゲームをエンコードして、モデルがどれだけ戦略的選択や意思決定ができるかを調べた。そして、異なるスキルをテストするために2つの新しいゲームも作った。最初のゲーム、LEGO Connect Language（LCL）は、モデルが建築指示に従って空間推理を理解できるかをチェックするんだ。2つ目のゲームは、数字のグリッドの中の形を識別するものだった。

「見せる、語らない」というアプローチを使って、モデルが実際にこれらのゲームで何ができるかを見たかったんだ。ただ、どうやって遊ぶかを聞くのではなくね。私たちの発見は、GPT-3.5とGPT-4は言語に関連するいくつかのタスクをうまく処理できたけど、戦略的思考や空間推理を必要とするゲームではあまり良い成績を出せなかったってことだ。例えば、両モデルはTic-Tac-ToeやConnect Fourで負けの手を予測できなかったし、Battleshipをプレイする際にはルールを守るのに苦労した。形の識別ゲームでは、GPT-4はGPT-3.5よりも良い結果を出したけど、両モデルはLCLの組み立てタスクで苦労した。

#言語モデルとは？

GPT-3.5やGPT-4のような言語モデルは、テキスト入力を処理しテキスト出力を生成する高度なシステムなんだ。文中の単語の関係を理解することで、意味のある文を生成できるように働く。これをするために、テキストを小さい部分に分けて、これらの部分を数値形式に変換し、各部分が一貫した応答を生成するのにどれだけ重要かを分析する。

これらのモデルは、数百万または数十億のパラメータを持っていて、Alpacaのようなモデルは約70億のパラメータを持ち、LLaMAのような大きなモデルでは最大650億に達する。最も大きいモデルであるPaLMは、5400億のパラメータを持っていて、その巨大さが言語の複雑なルールを扱うのを可能にしているんだ。

#現在の言語モデルのテスト方法

LLMの理解力や生成能力を評価するために、さまざまなテストが作られてきた。SQuADやGLUEのような異なるデータセットは、さまざまな種類の質問やタスクを提供する。例えば、これらのタスクには選択問題や読解、会話の完了などが含まれることがある。各テストは通常、応答の正確さ、言語生成の流暢さ、会話が関連しているかどうかを評価する。

言語タスクを超えて、最近の研究ではLLMが問題をどう考えるかを別の方法で見ることを試みている。一つの研究では、研究者がTic-Tac-Toeを使って、完璧なプレイ戦略であるミニマックスアルゴリズムに対してモデルを評価した。いくつかのLLMは時折そこそこ良い成績を出したけど、一般的にはこの最適戦略には勝てていなかった。

他の重要な研究は、言語タスクだけに基づいてLLMができることを誤解するリスクを指摘している。これらのモデルは多くの言語テストで優れた結果を出しているけど、より深い推論や世界の理解には苦労している。これにより、これらのモデルが論理的なつながりを作り複雑なアイデアを把握できるかどうかという疑問が生じる。

研究者たちからは、大規模モデルの信頼性についても懸念が示されている。これらのモデルがどのように構築されているかが不明確なため、それらの信頼性について疑問が生じる。一部の研究者は、LLMの主張される能力が誤解を招く可能性があり、評価基準の選び方に単に反映されたもので、実際の推論能力の向上を示すものではないと主張している。

#AIにおける一般知能の定義

AIの知能について話すとき、研究者たちは一般知能（GI）をしばしば参照する。これはさまざまな状況で考え、問題を解決し、学ぶ能力を指している。従来、GIは特定の知識を超えたプロセスを含むもので、広範な認知スキルをカバーする。

GPT-3.5やGPT-4のような高度なモデルを評価する上での重大な問題は、トレーニングに使うデータがテストと重複することがあり、信頼できない結果を生じる可能性があることだ。これらのモデルをトレーニングするために使われるデータセットは巨大で複雑なため、モデルが正確にどの情報を学んだかを知るのが難しい。この不確実性が多くのベンチマーク努力を効果的でなくしてしまう可能性がある。

一部の研究者は、生成された応答がトレーニングデータとどれだけ重複するかを評価することでこの問題に取り組んでいる。ただし、この方法には限界があり、単語が現れる文脈を考慮に入れず、他の重要な側面を見逃す可能性がある。

#より良い知能の測定方法の必要性

私たちは、LLMを評価するためにより精緻なアプローチが必要だと主張している。AIにおける一般知能をより正確に測定するためには、ベンチマークがリアルな方法で推論や一般化スキルを真に評価することに焦点を当てるべきだ。

この研究で、私たちはChildPlayを紹介する。これは推論や戦略的思考、パターン認識を測定するための非言語ゲームのシリーズなんだ。ゲームを使うことで明確な目標を持たせ、モデルが時間をかけてどれだけ計画し、意思決定できるかを見るのが簡単になる。これらのゲームの性質上、実世界の課題をより効果的に反映できるんだ。

#ゲームベースの実験

私たちの実験では、BIG-benchベンチマークからのタスクをゼロショットテストという特定のカテゴリーに配置した。このテストでは、モデルには例や事前の練習なしでゲームのルールが与えられる。私たちは、モデルがシンプルなテキストキャラクターの列を使って空間的配置について考えられるかを示すことを目指した。

LEGOの組み立てや、ボードゲームのTic-Tac-Toe、Connect Four、Battleship、そして形の識別ゲームを含むタスクを作った。さまざまなシナリオでGPT-3.5とGPT-4を使用し、どのように反応するかを見てみた。

#LEGO Connect Language（LCL）

LEGOの組み立てタスクでは、特定のルールに基づいて構築する方法を指示するための構造化された言語、LEGO Connect Language（LCL）を考案した。モデルは、さまざまな基準に基づいて与えられたLEGO構造が有効かどうかを判断しなければならなかった。

最初のテストでは、LLMにLEGOの構造が正しく組み立てられているかどうかを検証させた。モデルは指示に基づいて有効な構造を生成するという挑戦に直面した。その結果は、これらのテストに対してモデルが生成した有効な構造の数によって測定された。

#ボードゲーム：Tic-Tac-Toe、Connect Four、Battleship

次に、従来のボードゲームを見た。各ゲームでは、プレイ中の現在の状態をモデルに与え、ゲームの簡単な紹介をした。モデルには、先手でプレイしていることも伝えた。Tic-Tac-Toeでは、モデルが勝つ手を認識し、負けの手をブロックできるかが重要だった。

Battleshipでは、ランダムな配置で船を設置し、モデルの推測に基づいて結果を追跡した。各ゲームは、モデルがゲームのルールに従い、戦略的な意思決定を行えるかを確認するように設計された。残念ながら、結果はGPT-3.5とGPT-4の両方がしばしばルールを正しく守れず、負けに繋がったことを示した。

#形のゲーム

形のゲームでは、モデルが数字の中に隠された基本的な幾何学的形を見つけなければならなかった。結果は、GPT-3.5がかなり苦労してランダムなレベルでのパフォーマンスを示したのに対し、GPT-4は特に三角形の認識でより良いスキルを見せた。

#ゲームからの一般的な観察

全体的なパフォーマンスを分析すると、両モデルが特にBattleshipやLCLテストでルールを一貫して守れなかったことが明らかになった。難易度を調整するにつれて、手の数やエラーが増え、モデルが効果的に戦略を考えていなかったことが示唆された。

高い温度設定は、ゲームプレイにおけるよりランダムな選択を可能にしたが、ルールを守る能力やより良い意思決定を向上させることには繋がらなかった。実際、しばしばより多くの間違いを引き起こす結果となった。

#現在のモデルの限界

私たちの研究は、LLMがその強力な言語スキルにもかかわらず、戦略的思考や実際の理解を必要とするタスクに苦労していることを明らかにしている。Tic-Tac-Toe、Battleship、形の識別といったゲームは、モデルの推論能力における重要な限界を示した。

基本的なタスクにおいてはいくつか成功が見られたものの、GPT-3.5とGPT-4の両方はテストしたゲーム全般において一般的に良い成績を出せなかった。この結果は、問題を解決する能力や構造化されたルールに従う能力に重要なギャップがあることを強調している。

#今後の研究方向

今後は、オープンソースのモデルを含むさらに多くのモデルをテストする予定で、ChildPlayベンチマークでより良いパフォーマンスを見つけることを期待している。既存のモデルが私たちのテストで優れることはないと考えているが、深層強化学習の今後の発展はより良い結果をもたらす可能性がある。

ゲームベースのベンチマークを使用してLLMを評価することには大きな価値があると考えており、これはモデルの推論や問題解決能力への洞察を提供する。非言語タスクでLLMをテストすることは、彼らの全体的な認知能力を理解するために重要だ。

#結論

要するに、ゲームを通じてLLMを評価することで、これらのモデルが実際に何ができるかを新たな視点から見ることができる。シンプルな推論タスクにおける彼らのパフォーマンスに焦点を当てた結果、GPT-3.5やGPT-4のような高度なモデルでさえ、多くの場合において力不足であることがわかった。ゲームを効果的にプレイできないことは、彼らの問題解決能力や戦略的な意思決定に制限があることを示唆している。私たちの発見は、これらのモデルの能力を理解するために、言語タスクを超えた追加のベンチマークの必要性を強調している。