言語モデルへの信頼を高めるための自制

大規模言語モデル（LLM）は、人間っぽいテキストを理解し生成するために設計されたコンピューターシステムです。これらのモデルは、質問に答えたり、エッセイを書いたり、言語を翻訳したりするなど、言語に関する多くのタスクで素晴らしいスキルを示しています。しかし、これらのモデルが自信を持てない質問に答えるときに問題が起こります。応答に自信がなければ、モデルが答えない方が良い場合もあります。答えないタイミングを知ることは、特に医学や法律などの重要な分野で信頼性を高めるために重要です。

#答えないタイミングを知ることの重要性

LLMが不確かな質問や難しい質問に答えない能力は「控え能力」として知られています。この能力は、モデルの信頼性を向上させるために重要です。例えば、モデルが答えに自信がない場合、「わからない」と言うべきで、間違った情報を提供すべきではありません。しかし、現在の多くのLLMは、答えないべきタイミングを判断するためのしっかりした方法を欠いており、誤情報が発生する可能性があります。

#現在のアプローチとその限界

LLMの控え能力を向上させるためのさまざまな試みがあります。一部の方法は、モデルに不確かさを持った応答をするよう指示するものであり、他の方法は、モデルが情報不足のときを認識するのを助ける技術を使用します。例えば、モデルに自信を反映させるよう促すプロンプトは、難しい質問に答えないように導くことができます。しかし、これらの方法は、必ずしもモデルが間違った回答を提供するのを効果的に防げるわけではありません。

現在の測定システム、例えばFスコアは、モデルが不確かな質問にどれだけ答えないかを評価することに失敗しています。そこに新しい方法が必要になります。

#提案する評価方法論

LLMがどれだけ質問を控えられるかを理解するための新しい評価アプローチを導入します。この評価では、「Abstain-QA」という新しいデータセットを作成し、控え能力をテストするために設計された選択肢付き質問（MCQ）を含みます。このデータセットには、答えられる質問と答えられない質問があり、「わからない」や「上記のどれでもない」といった選択肢があります。この構造により、モデルがどのように答えを控えるべきかを特定する能力を包括的に評価できます。

#データセット構築

Abstain-QAデータセットは、異なる分野や複雑さのレベルの質問を含むように慎重にキュレーションされています。Abstain-QAには、3つの主要なデータセットがあります：

1. Pop-QA: 人気のあるエンティティやあまり知られていないエンティティに基づいた質問を含むデータセットです。職業や製作者、作曲家など、さまざまなカテゴリーを含み、有名なテーマとあまり知られていないテーマのミックスを保証しています。

2. MMLU: さまざまな科目からの質問を含むデータセットで、数学や心理学などの特定の知識領域をテストします。質問はより複雑で、より深い推論能力を必要とします。

3. Carnatic-QA (CQA): カルナータック音楽に焦点を当てたデータセットで、インドのクラシック音楽におけるメロディの一種であるラガに関する質問が含まれています。これはあまり露出のない分野であるため、ニッチな情報に対してLLMがどれだけうまく機能するかを検証できます。

各データセットには、モデルを挑戦させ、さまざまな不確かな答えに直面したときの控え能力をテストするために設計された質問が含まれています。

#評価方法論

モデルを評価するために、どのくらい頻繁に答えるのを控えるかに焦点を当てます。評価には、各質問について3つの部分を含めます：タスクプロンプト、不確かさで答えるのを控えるようモデルに促す控え条項、比較のための正しい答えです。各質問は、プロンプトや指示がモデルの応答にどのように影響するかを見るために、異なるセットアップの下でテストできます。

使用されるプロンプトには3種類があります：

1. 標準条項：モデルが控えるよう指示なしに選択肢を選ぶことが許可されるベースラインのセットアップです。

2. 控え条項：モデルが不確かなときに推測を控えるよう奨励する指示です。間違った答えを提供することの結果をほのめかします。

3. 極端な控え条項：モデルが特に注意して答えるべきであることを示唆し、間違った回答の可能性のある否定的な結果を強調する強いクエです。

これらのバリエーションは、異なる指示がモデルの答えを控える能力にどのように影響するかを評価するのに役立ちます。

#実験デザイン

タスクプロンプトに基づいて、3つの主要な実験を行います：

1. ベース実験：モデルは、追加の指示なしに質問に答えるだけが求められます。

2. 言語的自信実験：モデルに自分の回答への自信を表現させる実験です。自信レベルを評価する必要があり、どれだけ自信を持つかによって答えを控えるべきかを判断するのに役立ちます。

3. 思考の連鎖実験：この設定は、モデルに回答に至るまでの思考プロセスを段階的に言語化するよう促します。この手法は推論を改善し、難しい質問に直面したときの控え能力を向上させるかもしれません。

#結果と分析

我々は、Abstain-QAデータセットを使用していくつかの高度なLLMをテストし、回答を控える能力に焦点を当てました。結果は、多くの最先端モデルが控え能力に苦労していることを示しました。特に複雑な、推論に基づいた、あるいはドメイン固有の質問に対してです。シンプルなシナリオでは、比較的良く機能しました。

GPT-4のようなモデルは、シンプルな質問ではより良い控え率を示しましたが、より難しくニッチなトピック、特にCarnatic-QAデータセットの質問に対しては苦労しました。思考の連鎖アプローチは全体的に改善を示しましたが、一部のモデルはまだ自信を正確に評価するのに苦労していました。

さらに、控え能力の改善は、タスクに対する全体的なパフォーマンスの向上に関連していることが示されています。これは、LLMがいつ控えるべきかを判断できる信頼できる環境を育むことの重要性を示しています。

#実世界のアプリケーションへの影響

控え能力に関する発見は、敏感な分野でのLLMの展開に大きな影響を与えます。医療、法律、または誤情報が害を及ぼす可能性のある任意の分野において、答えるのを控えるべきかを正確に判断できるモデルが不可欠です。

控え能力を向上させることで、正確な情報を提供する信頼できるモデルを構築できます。LLMが自分の自信を評価する方法を洗練し、答えを避けるべきな時のためのシンプルな指示を与えることで、ユーザーのニーズや期待に合ったより良いシステムを構築できます。

#結論

要するに、LLMは印象的な能力を示していますが、質問に答えないべきタイミングを知るのにはまだ課題があります。私たちが提案する評価方法とデータセット、Abstain-QAは、これらのモデルの控え能力の向上の重要性を強調しています。今後の研究は、モデルが自分の限界を認識するための戦略を洗練することに焦点を当てるべきです。そうすることで、さまざまな実世界のシナリオで効果的かつ責任を持って機能する、より信頼性の高いLLMを作ることができます。