言語モデルにおける自己説明の評価

最近、大規模言語モデル（LLM）が自然言語に関するタスクで素晴らしいスキルを見せてるよね。今やチャットボットみたいな日常のアプリで広く使われてる。人々がこの技術にますます頼るようになる中で、重要な問いが生じる：これらのモデルが自分の出力について示す説明はどれくらい信頼できるの？彼らは自分の思考プロセスをうまく説明できるの？

LLMがどのように推論するかを知ることは、彼らを使う際の信頼と透明性を築くために基本的だよ。この研究では、これらのモデルが自分の出力を説明する際の自己説明の信頼性を調査してる。特に、抽出的自己説明と反実仮想の2種類に焦点を当ててる。サイズが異なる3つの先進的なLLMを使って、客観的なタスクと主観的なタスクの2つの異なるタスクに適用して評価したよ。

研究の結果、LLMが提供する自己説明はしばしば人間の意見と一致するけど、正確さに欠けてて、モデルがどのように決定を下すかを正確に反映してないことが分かった。人間がモデルの推論をどう認識してるかと、モデルの実際の推論との間には明らかなギャップがあるんだ。でも、モデルに反実仮想の説明を促すことで、明確で情報豊かで検証可能な結果が得られることがわかって、これはモデルの振る舞いを説明する従来の方法に対する強力な代替手段になり得る。

#LLMとその役割

大規模言語モデルは近年大きく進化して、自然言語処理の多くの領域で良いパフォーマンスを発揮してる。成功を受けて、これらのモデルは日常生活の一部になってる、特にChatGPTみたいなチャットボットを通じて。彼らの影響力とこの技術への信頼が高まる中で、これらのモデルが生成する説明がどれくらい信頼できるかを判断することが重要だよ。

LLMは通常、テキスト入力を一連の予測を通じて補完することで機能するけど、これは推論についての疑問を提起する。この記事では、LLMが出力を正当化するように促されたときに生成される自己説明の信頼性を調査してる。私たちの研究ではいくつかの貢献をしてるよ。

まず、2つの分類タスクで3つの最新のLLMによって生成された抽出的自己説明を評価する。これらの説明は人間にとっては合理的に見えるかもしれないけど、モデルの意思決定プロセスの正確な説明を一貫して提供してるわけじゃないんだ。

次に、自己説明と正確な推論との間のギャップを縮小できることを示してる。特に、LLMに反実仮想の説明を求めることで、モデルでも容易に検証できる信頼性のある説明が得られるんだ。

さらに、反実仮想の自己説明を分析して、それが元の出力に非常に近いものになることが分かったけど、個別の検証が必要だよ。

#LLMの可説明性

この研究において、LLMをテキスト入力を処理するために設計されたシステムと定義する。これらのシステムは、入力テキストを後続のトークンを予測することで補完する。このアーキテクチャは、特定の機能を持つ様々な層に分けることができる。

具体的には、LLMは入力を処理する埋め込み層から始まり、いくつかのトランスフォーマーブロックが続く。各ブロックはマルチヘッドアテンションを利用して、モデルが入力テキストの異なる部分に注目できるようにしてる。

現代のトランスフォーマーモデルは、エンコーダーのみ、エンコーダー-デコーダー、デコーダーのみの3つのカテゴリに分類される。デコーダーのみのアーキテクチャを使うモデルは、追加のファインチューニングなしでテキストを分類する能力を示してる。彼らはゼロショットプロンプトと少数ショットプロンプトの2つのアプローチを使って分類タスクを行うことができる。

私たちの研究は、モデルの動作全体の説明を提供するのではなく、個々の予測を説明することに特に焦点を当ててる。2017年にLLMが最初に導入されて以来、研究者たちはその分類出力の説明を生成するためのさまざまな方法を提案してきた。方法の選択は、しばしば分類フレームワークに依存するんだ。

この記事では、2つの重要なタイプの説明、アテンションベースの説明と勾配ベースの説明に集中してる。

#アテンションベースの説明

これらの説明は、モデルのフォワードパス中に生成されるアテンションウェイトを利用してる。どの入力トークンが出力に最も影響を与えているかを分析することで、モデルの推論について洞察を得られる。でも、アテンションに基づくだけで明確な説明を提供するのは難しいことがある。

#勾配ベースの説明

これらは、各入力が出力にどれだけ寄与しているかを示すマップを作成する。この方法は、入力を変更したときの出力の変化を計算することに焦点を当ててる。でも、訓練されたネットワークが非常に小さな勾配を生成する飽和問題といった課題に直面するんだ。

#反実仮想の説明

反実仮想の説明は、他の方法とは異なる。これらは異なる出力をもたらすモデル入力の変更されたバージョンを提示する。良い反実仮想は2つの主要な基準を満たすべきで、まず異なるモデル出力を生成し、次に元の入力に対する変更が最小限であるべきだよ。

#研究質問

調査を導くために、私たちは2つの重要な質問に焦点を当てた：

1. LLMが生成する自己説明は人間の判断とよく一致する？
2. これらの自己説明は、他の説明方法によって示された内部モデルの動態と相関する？

これらの質問に答えるために、まずLLMの自己説明を収集し、勾配とアテンションに基づく分析アプローチからの説明を集めたよ。

#評価プロセス

実験のために、食品危険分類と感情分類の2つのタスクを利用した。食品危険タスクでは、公式の食品リコールタイトルを使って、専門家の注釈に基づいて特定のカテゴリに分類した。感情分類タスクでは、映画レビューを分析して感情的なトーンを判断したんだ。

そして、いくつかの指標に基づいて結果を評価した：

• 忠実性: 説明が入力トークンの重要性をどれだけ示しているかを測定した。
• テキストの類似性: 生成された説明を参照テキストや人間の注釈と比較するためにさまざまな方法を使った。
• サリエンシーマップの類似性: 生成されたサリエンシーマップが真の値とどれだけ一致しているかを比較した。

#結果

両方のタスクで、LLMはランダムな確率以上のパフォーマンスを示した。自己説明と人間の注釈の相関は肯定的で、LLMが人間の推論をある程度反映していることを示している。ただ、主観的なタスクでは、より微妙な解釈が必要な場面で相関が常に成立しなかったんだ。

食品危険分類では、モデルが提供した説明が人間の注釈と明確な正の相関を示した。これは、LLMが生成した自己説明がこの特定のタスクにおけるモデルの推論の合理的な表現として見なせることを示唆しているよ。

感情分類タスクでも、似たようなパターンを観察した。抽出的自己説明は人間の注釈との相関が異なる度合いを示した。

#討論と結論

全体として、私たちの研究は、LLMが生成する自己説明が人間の判断と相関し、モデルがどのように機能するかへの洞察を提供できることを示している。ただ、この関係は必ずしも明確ではなく、特に深い推論が必要なタスクではそうなんだ。

結果は、自己説明がLLMの振る舞いを理解するための合理的な出発点を提供できるけど、内部モデルの機能のすべての側面と必ずしも相関するわけではないことを示唆している。抽出的自己説明は、特定のトークンと期待される結果との間に明確なリンクが存在するタスクでは、真の値とより密接に一致する傾向があるんだ。

反実仮想の説明は、特に感情分類のようなタスクで期待が持てる。そこで説明の検証が容易であれば、貴重な洞察を提供できるんだ。

さらなる研究が必要で、プロンプトのプロセスを最適化し、モデルの透明性と信頼性を高める反実仮想を発展させる必要がある。より洗練されたモデルが登場する中で、これらの方法を精緻化してLLMがどのように出力を導出するかをよりよく理解することが重要になるね。