生成された応答なしで言語モデルの知識を評価する

大規模言語モデル（LLM）は、受け取った入力に基づいてテキストを生成する強力なシステムだ。でも、これらのモデルがさまざまなトピックについてどれだけの知識を持っているのかを理解するのは複雑なことがある。一般的な方法は、モデルに質問をして、その回答を見て、どれくらい正確かをチェックすることだ。このアプローチは、モデルが回答を出した後にその知識を測ろうとする。

この研究では、別のアプローチを取ることにした。モデルが最初に回答を生成しなくても、その知識を評価できるかを知りたい。鍵となる質問は、モデルがトピックを内部的に処理する様子を見ただけで、そのトピックについてどれだけ知っているかを把握できるかどうかだ。

このアイデアを探るために、二つの主要なタスクに焦点を当てる。まず、モデルが特定のトピックに関する一般的な質問にどれだけうまく答えられるかを推測したい。次に、モデルが生成する回答がどれくらい正確になるかを予測したい。

さまざまなLLMを使った実験では、モデルの内部表現に基づいてトレーニングされたシンプルな方法が良い予測を提供することがわかった。この方法は、質問に答える際のモデルの正確性や、生成された回答の事実性を表す最近の指標と成功裏に相関している。また、このアプローチは、モデルが不確実な質問にどう対処するかにもうまく一致し、ファインチューニング後のモデルの知識の変化も反映している。

要するに、私たちの方法はシンプルで軽量で、モデルが持っている知識のギャップを特定するのに役立つ。これによって、追加情報でクエリを改善するべきか、もっとトレーニングが必要かを決定するのに役立てられる。

#モデルの知識を理解する

従来、大規模言語モデルの知識を評価するには、モデルにクエリを投げて、その回答を評価するのが一般的だ。正しい回答と比較したり、回答が一貫しているかを確認したり、外部の事実に裏付けられているかを見ることも含まれる。逆に、私たちのアプローチは、反応を生成せずにモデルの知識を把握することに焦点を当てている。

この新しいアプローチは、人間のコミュニケーションに関する研究に触発されていて、非言語的な手がかりが法廷で証人の信頼性を判断するのに役立つことがある。同じように、特定のトピック、たとえば「ナポレオン」や「エンパイア・ステート・ビル」について大規模言語モデルがどれだけ知識を持っているかを、テキストを生成する前にそのエンティティの名前をどのように処理するかを見るだけで評価できると思っている。

私たちは、トピックの内部表現に基づいてトレーニングされたシンプルなプローブを使用することでこれを示す。このプローブは、モデルがそのトピックに関する質問にどれだけうまく回答できるか、そしてその回答がどれくらい事実に基づいているかを評価するのに役立つ。

#問題の設定

私たちの研究の目標は、特定のエンティティの名前をどのように処理するかに基づいて、大規模言語モデルがどれだけの知識を持っているかを評価することだ。二つの関連する側面に焦点を当てる：(1) モデルがそのエンティティに関する質問に答える能力、(2) モデルがクエリされたときに不正確な事実を提供する可能性。

この知識を評価するために、二つの主要なタスクを設定する：

1. 質問応答（QA）：特定のトピックに対して、モデルがそのトピックに関する一連の質問にどれだけ正確に答えられるかを推定したい。

2. オープンエンド生成（OEG）：特定のトピックに関する一般的なクエリに対して、モデルが生成する主張のどれだけが事実に基づくかを予測する。

基本的なアプローチでは、まずトピックに関する質問を集めて、モデルがどんな回答をするかをチェックすることになる。私たちの方法は、この往復を避けようとして、モデルの知識を何度も生成を必要とせずに直接推定することを目指している。

私たちの方法は、モデルが入力エンティティの豊かな内部表現を作るという以前の研究の結果に基づいている。これらの属性を単純な線形関数を使って抽出できる。

だから、モデルの内部表現を使って特定のエンティティに関する知識を推定する方法を提案する。

#実験の設定

私たちの方法を評価するために、二つの環境で実験を行う：事実に基づく質問応答と伝記のオープンエンド生成。

質問応答の設定では、選ばれたトピックに対して質問セットを作成し、私たちの方法がモデルの性能をどれだけ正確に予測するかを確認する。

オープンエンド生成の設定では、私たちの方法とFActScore、生成されたテキストの事実に基づく誤りを検出するために使われる指標との相関を調べる。

実験中、GPT2、Pythia、LLaMA2、Vicunaなど、さまざまなサイズのモデルをテストして、私たちのアプローチがどれくらい効果的かを見ている。予測と正確性および事実性スコアの間に強い相関が見られることが一致している。

#内部表現のプロービング

私たちの方法は、トピックの内部表現に基づいてプローブをトレーニングすることを含む。モデルの隠れた状態から、トピックの最後の位置に対応する特徴を集める。実用的な目的のために、これらの状態を抽出して正規化し、私たちの二つのタスクの性能を予測するのに役立つ特徴ベクターを形成する。

このプロセスでは、さまざまな特徴セットを使用する：

• 隠れた状態（HS）：モデルのいくつかの上位層から取得され、詳細なトピック属性が現れることが多い。

• 語彙投影を伴う隠れた状態（VP）：同じ隠れた状態を取り、語彙に調整して解釈可能性を高める。

• トップ語彙投影（VP-）：語彙投影から最も影響力のあるトークンを選んで、より小さく解釈しやすいプローブを作成する。

私たちのテストに使用された入力プロンプトは、バイアスを避けるように注意深く設計されており、効果的にデータを収集し分析できる。

質問応答とオープンエンド生成の両タスクにおいて、私たちはプローブを最適化し、予測誤差を最小限に抑えるように調整している。

#結果と分析

私たちのテストでは、隠れた表現に基づいてトレーニングされたプローブがモデルの正確性と事実性と強い相関を示すことがわかった。実際、これらの相関は、自己注意の出力や外部の人気指標など、一般的に使われる特徴が達成したものよりも大幅に優れていると感じる。

また、私たちのプローブは不確実な状況でのモデルの振る舞いともよく一致していて、モデルがためらったり、回答を控えたりする場面を反映している。さらに、ファインチューニング後の知識の変化を正確に示している。

ファインチューニングは、特定の情報でモデルをトレーニングすることを含む。たとえば、特定のトピックに関するウィキペディアの記事など。私たちの分析では、ファインチューニングが関連するトピックのスコアを向上させながら、他のトピックのスコアを比較的安定させることがわかった。

#誤りと特徴の評価

私たちの方法は効果的だけど、知識レベルを正確に予測する上で課題もある。たとえば、プローブはモデルがあまり知らないトピックに対して高いスコアを予測する傾向がある。一方、モデルがよく知っているトピックに対しては、スコアがより保守的になる。

特徴分析を通じて、予測に影響を与える重要なトークンを特定できる。トークンの重みを調べることで、どのトークンがモデルの知識に対してプラスまたはマイナスに寄与しているかがわかる。

この分析から、少数の影響力のあるトークンが知識レベルを決定するのに重要であることが明らかになる。プラスの重みは意味のあるコンテンツに対応し、マイナスの重みはあまり重要でない要素に関連することが多い。これらのトークンを理解することで、さまざまな分野でのモデルの力強さと弱さがわかる。

#結論

私たちのアプローチは、大規模言語モデルにおける知識の評価方法を新たに提供する。モデルが特定のトピックにどれだけ詳しいかを、生成されたテキストを見ずに推定できることを示した。

結果は、知識が内部表現に集中していることを示すが、知識の具体的なギャップを特定するためにはさらなる作業が必要だ。たとえば、モデルがナポレオンについて話すときに70％の正確性があると推定できても、それがどの具体的な質問で苦労するかは特定できていない。

今後の方向性としては、特定のトピックの側面についての知識を評価する方法を洗練させたり、トランスフォーマー以外のモデルタイプにこのアプローチを適用したりすることで、モデルの行動や信頼性についてより広範な理解を得ることができる。

要するに、発見は内部の特徴を分析することでモデルの知識を推定する可能性を強調している。私たちの研究は、LLMの改善につながり、さまざまなタスクで信頼できる事実に基づく情報を提供することを確実にするための道を開く。