言語モデルの quirks：エラーと洞察

大きな言語モデル（LLM）は、たくさんのデータから学んだパターンをもとにテキストを作るツールなんだ。けど、彼らが間違えるとどうなるかって？実は、反応がかなり面白いことになることもあるんだ。この記事では、LLMの奇妙で時には面白い間違いを掘り下げていくよ。

#LLMの評価

LLMはよく選択式の質問でテストされる。これは、モデルが正しい答えを選ぶクイズみたいなもんだよ。同じ質問を何度も聞くと、必ずしも正しい答えを出すわけじゃない。時には全ての選択肢に分散して答えたり、他の時にはいつも同じ間違った選択肢に固執したりするんだ。まるで新しいお気に入りのピザトッピングみたいにね。

例えば、「空の色は何？」って聞いたとき、うまくいってるモデルなら「青」をほとんど選ぶべきなんだけど、悪い日だったら「緑」や「水玉模様」って言ったりするかも。

#答えの妥当性を問う

LLMがどうやって間違えるのかをもっと掘り下げるために、「NeoSQuAD」ってデータセットを使った実際のテストを見てみよう。この研究では、このデータセットからランダムに選んだ9つの質問をモデルAに答えてもらった。各質問を1,200回聞いて、どの答えが一番好きか見たんだ。

驚くことに、モデルAはある質問に対して約99%の確率で同じ間違った答えを選んでた！もしこれが人間だったら、頑固だって言えるよね。だから、すべての間違いを悪いトレーニングデータのせいにするのは無理がある。モデルも時には奇妙な行動をするんだ。

#文脈なしでの選択

さらに面白いのは、質問や文脈を一切与えずにモデルAに答えを選ばせることもできるってこと。彼はそれでも非ランダムな方法でお気に入りを選ぶ。一部の質問では自信満々の選択をするけど、他の質問ではお菓子屋さんの子供みたいに気まぐれに変えることもある。

他のモデルもモデルAのように振る舞うのか気になって、7つの異なるモデルが同じ質問に答えるのを見てみた。結果、いくつかのモデルはモデルAと同じ間違った答えを好んで選んでるのがわかった。まるでみんなでひどい映画が最高だって意見が一致してる友達グループみたいだね。

#間違いを理解する

LLMが選択式テストにどう反応するかを見ると、その間違った答えが思ってる以上に情報を持ってることがわかる。広い視点を持つことで、モデルがどのように間違った質問を受けるのかが見えてくるよ。

例えば、「MMLU-Pro」っていう大規模な評価には12,000以上の質問がある。このデータを使って異なるモデルが間違った答えをどう出すかを見ることで、実際にはどれだけ似ているのかを測れるんだ。異なるモデルが違う行動をすると思うかもしれないけど、データは彼らがしばしば同じ間違いをすることを示してる。これじゃモデルを組み合わせてもいい答えにはならないかもしれない。グループプロジェクトを賢くしようとして、みんなが混乱するだけの状況だね。

#モデルのクラスタリング

全ての答えを分析した後、どう間違えたかに基づいてモデルをグループ化できた。あるモデルは変な家族の再会みたいに一緒に群がったり、他のモデルはそれぞれ別れていったりした。例えば、有料のプロプライエタリモデルはオープンソースのモデルと比べてよく違う行動をした。これはファストフードとグルメダイニングの違いを見るようなもので、どちらもお腹は満たすけど、一方は魅力的で、もう一方はちょっと脂っこいみたいな感じだね。

#普遍的な間違い

次は「普遍的な間違い」って呼ぶものについて話そう。これはほとんど全てのモデルが悩む質問たち。MMLU-Proの質問の中で、全37モデルが間違える質問が約160個あるんだ。じゃあ、みんな同じ間違った答えを選ぶのかって聞いてみると面白いよ。

もし彼らがランダムに答えを推測しているなら、同じ間違った答えにたどり着く可能性があるだろう。まるでトリビアゲームでみんなが「C」と答えるのは幸運な文字だと思ってるみたいにね。

でも驚き！実際には、時には同じ間違った答えに合意することもあるんだ。でも、大抵は質問が悪く設計されてるからであって、みんなが賢いからじゃない。これって皮肉だよね？

#LLMについての最終的な考え

じゃあ、このLLMの心の探求から何を学んだのか？彼らは我々を驚かせる才能があって、時にはいい方向に、時には...ちょっとおかしな日もある。モデルが間違えるとき、同じようなパターンで間違うことが多いんだ。それはまるで彼ら自身の小さな癖や好みを持っているみたい。

正確な答えを求めるなら、これらのパターンを知っておくと役立つよ。でも、笑いたいなら、「空の色は何？」って聞くだけでいい！

結局、LLMは単なるテキスト生成のツール以上のもので、学ぶデータの癖や欠陥を反映してる。素晴らしい答えに導いてくれたり、面白い間違いをしたり、興味を引き続けてくれるんだ。次にモデルに質問するときは、その答えに驚かされるかもしれないよ-正しいか、全然的外れかに関わらず。