LLMのパフォーマンス評価: MCQとロングフォーム質問

選択肢問題（MCQs）は大規模言語モデル（LLMs）のパフォーマンスを確認するのに一般的に使われるけど、シンプルで速いんだ。でも、これらの質問が本当にLLMsの良さを反映できるのか、特に答えが長くて詳細が必要な場合には心配されてる。この記事では、MCQsが長文の回答に対してどれほど効果的かを見ていくよ。

#なぜ選択肢問題を使うの？

選択肢問題は、LLMsをテストするのに人気があるんだ。なぜなら、すぐに結果が出るから。LLMには質問といくつかの答えのオプションが与えられて、正しいと思うのを選ぶって感じ。この方法でモデルのパフォーマンスを簡単に評価できる。ただ、こういう質問はLLMsが長くて詳細な回答を生成する必要のあるタスクには必ずしも合わないんだ。

#MCQsの問題点

一つ大きな懸念は、MCQsが実際の状況でLLMsが使われる方法と合わないかもしれないってこと。多くの場合、これらのモデルには説明や詳細な回答が求められるけど、MCQsはそれに対応してない。いくつかのLLMsを英語と中国語の四つの異なる問題セットで分析して、MCQsの有効性を調べたよ。

私たちの研究中に、LLMsがバイリンガルMCQsで答えの選択肢の位置に不思議な敏感さを示したことに気づいた。特に最初の選択肢が好まれる傾向があった。こういう順序の敏感さは、MCQsと長文生成質問に対するLLMの能力の一貫性のない測定指標を示してたんだ。

#MCQsと長文質問の違い

長文生成質問（LFGQs）は、LLMが完全文や段落で回答を作成することを許す。一方、MCQsは固定された答えの選択肢を提供する。私たちの調査に基づくと、MCQsからの回答とLFGQsからの回答には低い相関関係があるんだ、たとえ質問が同じでも。これによって、LLMsを評価する際のMCQsの信頼性について重要な疑問が生じる。

LLMsのパフォーマンスを正しく評価するためには、MCQsとLFGQsの結果を直接出力、生成されるトークン確率、そして回答の隠れた表現の三つの異なる側面で比較する必要があるよ。

#実験と発見

私たちの実験では、さまざまなデータセットを使っていろんなモデルを利用した。LLMsが候補となる答えの順序に敏感かどうかを確認するために、いくつかのモデルを見たよ。選択肢の順序が複数のLLMsの回答に大きく影響してることが分かった、特に特定の配置がより良い精度につながる場合にね。

評価の中で、GPT-3.5-turboというモデルが選択肢の配置に影響を受けやすいことに気づいた。GPT-4と比べて、特にそうだった。一つの領域で高いパフォーマンスがあっても、順序の変化が敏感さを下げるわけではなく、モデルがとても良く働く場合には特にそうだった。

#一貫性の役割

同じ質問を何度も尋ねたときに、LLMの回答がどれくらい一貫しているかも探ったよ。一貫性とは、同じ質問を繰り返したときに答えがどれだけ似ているかを指すんだ。多くの人は、一貫性が高いほど正確性が増すと思ってたけど、私たちの発見はそうではなかった。

テストの中で、一貫性が高い回答が必ずしも正しい回答につながるわけではないことが分かった。これによって、一貫性をパフォーマンスの指標として過度に重視しない評価方法の必要性が示されたんだ。

#MCQsとLFGQsの比較

MCQsとLFGQsを直接比較したとき、いくつかの興味深い違いがあることに気づいた。LFGQsはしばしばMCQsと比べて正確さが低かった。この違いは、MCQsが明確な選択肢を提供することでモデルが正しく選ぶのが簡単になるからだ。

さらに分析すると、LLMsがMCQsでは正しく答えたのにLFGQsではそうではなかったケースがたくさんあることが分かった。さまざまなテストを通じて、LLMsが自信を調整する能力がどれだけうまくいっているかを計算したんだ-彼らの確信のレベルが正確さと一致しているかどうかをね。

#自信とキャリブレーションの測定

良いキャリブレーションは、モデルの推測の自信レベルが回答の実際の正確さと一致していることを意味する。私たちの研究では、生成されたキャリブレーションエラー（ECE）を測定する方法を使って、LLMsが自信を正しい回答とどれだけ一致させているかを調べたよ。MCQsからの結果はしばしばキャリブレーションが悪く、LLMsが自分の回答に過信している可能性を示唆してた。

#隠れ状態の分析

LLMsの隠れた表現、つまりモデルが内部的に情報をどう表現しているかも見たよ。これらの隠れ状態を視覚化すると、MCQsとLFGQsは異なるパターンを示してた。モデルの初期の層ではMCQsとLFGQsの埋め込みがはっきり分かれてたんだ。でも、より深い層を見ると、その違いがあまり目立たなくなって、入力の最初の解釈が質問のタイプによって大きく異なることを示唆してた。

#結論

私たちの研究はMCQsのLLMパフォーマンス評価における限界を強調してる。人気がある一方で、モデルの真の能力を正確に測るものではない。MCQsとLFGQsの出力の明らかな違いや、似た質問に対するモデルの回答の不一致は、MCQsだけに頼るとLLMsの能力を誤解する可能性があることを示唆してる。

#効果的な評価のための推奨

私たちの発見に基づいて、LLMsを評価するときに次のことを提案するよ：

1. 正しいフォーマットを選ぶ：評価する知識に合わせた質問フォーマットを選ぶべき。一般知識にはMCQsがいいかもしれないけど、もっと複雑な分野ではLFGQsが推奨される。

2. 選択肢の順序を調整する：各質問の答えの選択肢を並べ替えることで、MCQsを使った評価の信頼性を高められる。

3. 一貫性を過大評価しない：一貫性だけを正確性の指標と見なすのは良くない。評価時にはもっとニュアンスのあるアプローチが必要だ。

4. 長文評価を優先する：可能な限りLFGQsを使用することで、LLMの能力の広くて正確な見方が得られる。

5. 複数の視点を考慮する：LLMsを正確さだけでなく、完全さや関連性でも評価して、彼らのパフォーマンスをより良く理解する。

私たちの発見と提案は、LLMsを評価する方法を向上させるためのさらなる研究を促すことを目指してる。将来的に、より良いベンチマークや評価につながることを望んでるよ。