基本的な推論に関する言語モデルの評価

大きな言語モデル（LLM）、例えばGPT-3.5やGPT-4は、人間の会話に似たテキストを理解したり生成したりする能力で人気を集めてる。でも、強みがあるにもかかわらず、これらのモデルは多くの人が簡単だと感じる基本的なタスクでしばしば苦戦してる。この文章では、LLMが基本的な言語理解タスク、特に文の間の論理関係、いわゆる推論に関してどうなるかを見ていくよ。

#推論って何？

推論は、前提や文から引き出される結論のこと。例えば、「彼女の兄が歌っていた」と言えば、「誰かが歌っていた」ってことを暗示してる。人間には簡単な推論でも、機械には難しいことがある。ここでは、特定の3つのタイプの推論に焦点を当てるよ：

1. 文法的指定推論：これは文の一部を「誰か」や「何か」みたいな言葉に置き換えることを含む。例えば、「君は私のリンゴを全部食べた」は「君は誰かのリンゴを全部食べた」に変わる。

2. 単調性推論：これは、文がどれくらい一般的あるいは具体的かに関係してる。例えば、「ジャックは犬だ」と言うと「ジャックは動物だ」と暗示する場合、これは上向き単調性。逆に、「ジャックは動物じゃない」と言うと「ジャックは犬じゃない」と暗示する場合、これは下向き単調性。

3. 証拠的副詞：例えば「おそらく」や「推定的に」みたいな言葉は不確かさを表す。「マイクが一晩中働いた」と言った場合、実際にマイクが働いたとは限らないし、事実が不明のまま。

#実験の概要

LLMがこれらのシンプルな推論タスクをどれくらいうまく処理できるかを評価するために、評価セットを作って実験したよ。モデルを二つの主要な設定でテストした：ゼロショット、つまり事前の例がない場合と、段階的に推論する「思考の連鎖」を促すプロンプトの場合。

#実験結果

#文法的指定推論

文法的指定推論用の100例のセットを用意した。タスクは簡単で、全ての正解が「含意」だった。残念ながら、ほとんどのLLMはうまくいかず、最大精度は53%だった。GPT-4だけが84%から100%の間で良い結果を示した。

#単調性推論

単調性推論については、正しいラベルが「含意」である100例をサンプリングした。GPT-4を除く全てのモデルは50%未満の精度だった。GPT-4の最高精度も70%で、人間のパフォーマンスには遠く及ばなかった。ネガティブ単調性の別のセットでは、正しいラベルが「ニュートラル」の場合、以前のバージョンのGPT-4は人間より少し良く、他のモデルは28%から56%の間で苦労した。

#証拠的副詞

不確実な副詞のデータセットを作って、900例になった。最も良く働いたモデルGPT-4でも70%の精度しか出せず、人間のパフォーマンスよりかなり低く、他のモデルは4.67%から38%の間だった。

#コンテキストの埋め込み

次に、より大きな文法的コンテキスト内に前提を埋め込む効果を調査した。実験には2つのタイプがあった：

1. 前提条件トリガー：これは「彼は...に気づいた」といったフレーズで、元の意味を強化するように見える。結果は、モデルが正しい関係の本質に関係なく、「含意」を誤って予測することが多かった。

2. 非実体的表現：これは「私は...を疑う」といった表現で、文の真実を確認しないもの。非実体的条件下で埋め込まれたとき、モデルは「含意」を予測する傾向が強かった。

全てのモデルにおいて結果は心配だ。彼らはしばしば間違った関係を予測し、このタスクで適用される基本的な言語ルールを理解していないことを示している。

#言語モデルに関する観察

#ブラインドスポット

人間の書き方に似たテキストを生成する能力があるにもかかわらず、LLMはシンプルな推論を理解するのにブラインドスポットがある。多くのエラーは、これらのモデルが人間のようにテキストを真に理解していないことを示唆してる。例えば、彼らは関係がニュートラルであるべきところで含意を予測しちゃう、言語のニュアンスを認識できてないから。

#人間とモデルのパフォーマンス

人間のアノテーターはテストされた推論タイプで97%以上の精度を達成したのに対して、LLMはその半分にも達成できない。これの対比は、基本的な言語理解を必要とするタスクでのLLMの現在の限界を浮き彫りにしてる。

#エラーのパターン

LLMが犯すエラーは、特定のテキストパターンや似たような単語の存在に依存していることが多い。彼らは実際の論理関係ではなく、漠然としたつながりに基づいて誤って含意を予測することがある。

#思考の連鎖推論

思考の連鎖アプローチを使って、モデルが段階的に推論を説明する方法を試みたけど、これでは精度が良くならなかった。むしろ、彼らの推論がしばしば間違っていることを浮き彫りにした。多くのモデルがあいまいな説明や過剰な説明を生成して、予測を明確にしなかった。

#言語理解の重要性

シンプルな言語の推論を理解することは、LLMの能力を向上させるために重要。信頼できる推論を行う能力は、人間のコミュニケーションやコンテクストを理解する上で根本的。LLMに見られる限界は、トレーニング方法やモデル設計の継続的な改善の必要性を強調してる。

#今後の方向性

現在のLLMが基本的な言語タスクで苦戦してる間でも、未来のモデルには希望がある。この実験で明らかになった体系的な問題に焦点を当てることで、開発者はシンプルな推論をより良く理解するモデルを目指せる。信頼できるテキスト生成につながるかも。

#改善の提案

1. より良いトレーニングデータ：複雑な推論構造を含む多様な例を使うことで、学習が改善できる。

2. 焦点を絞ったインストラクションチューニング：一般的なテキスト生成ではなく、推論タスクに特化してLLMをトレーニングすることで理解が深まるかも。

3. 人間のフィードバックを活用：トレーニングプロセスに人間のフィードバックを利用することで、モデルが言語の微妙な点をもっとうまく把握できるかもしれない。

#結論

大きな言語モデルには大きな可能性があるけど、基本的な推論を理解する現在の限界は改善すべき重要な分野を示してる。これらの弱点に対処することで、研究者や開発者は人間のような言語理解をより良く真似できる能力のあるモデルを構築できる。LLMの未来は、トレーニング方法を進化させ、シンプルな言語タスクを処理する能力を洗練させることにかかってる。