大規模言語モデルにおける汚染の検出

機械学習において、「汚染」とは、テストデータが偶然にトレーニングデータと混ざってしまうことを指す。この問題は、特に大規模言語モデル（LLM）の性能を確認する際に重要だ。これらのモデルは、インターネットから集めた膨大なテキストを学習するからね。LLMを正しく評価するためには、この汚染を見つけるツールが必要だ。

この分野のほとんどの研究は、心理テストにあるような短いテキストの汚染をうまくチェックしていない。この論文では、特定の文のトークン確率を見て汚染を見つける新しい手法、LogProberを紹介する。また、この方法の限界についても話し、異なるトレーニングスタイルがモデルにどのように汚染を引き起こすかも説明する。

大規模言語モデルは、膨大なテキストデータをもとに訓練された複雑なシステムだ。そのトレーニング材料のサイズと多様性のために、これらのモデルが何をできるのかを予測するのが難しい。コンテンツの生成から翻訳、コーディングまで、さまざまなタスクを処理できる。それだから、多くの研究がこれらのモデルのスキルを測る新しい方法を生み出してきた。

これらの評価方法のほとんどは、LLMに質問をして、その答えが正しいかどうかをチェックする。しかし、このアプローチは、モデルが評価に使用される情報で訓練されていない場合にのみ有効だ。特に、評価がモデルの特定の問題解決能力に焦点を当てているときは重要だ。機械学習において、テストデータがトレーニングデータに漏れる問題は汚染と呼ばれる。汚染が起こると、モデルのパフォーマンスは実際の能力を反映するのではなく、トレーニング材料を思い出す能力を反映することになる。

LLMが膨大なテキストで訓練されているとき、この汚染の問題は特に重要で、評価項目がトレーニングデータに含まれているかどうかを確認するのが難しい。最近のいくつかのモデルはベンチマークで素晴らしい結果を出しているが、汚染の疑いがある。残念ながら、この懸念はこれらのモデルのトレーニング詳細に関する透明性の欠如から、しばしば明確ではない。この問題は、LLMが認知科学的手法を用いて評価される場合にさらに悪化する。多くの認知科学のテストは古く、その例がトレーニングデータに混ざる時間があった。

汚染を特定するためのいくつかの方法が提案されている。n-gramマッチングのようなアプローチは、トレーニングデータへのアクセスが必要だが、それはしばしば利用できない。他の方法は、汚染されたテキストがモデルによって完成される確率が高くなるという仮定に基づいているが、この技法は短いテストでの汚染を評価するのには適していない。一つのアプローチは、トークン確率を分析し、短いテキストでも機能する。特定の質問に対して、LLMが生成する異なる完成数を測る。完成数が少ないほど、LLMが汚染の影響を受けている可能性が高い。

この論文の最初の目標は、LogProberという手法を紹介することだ。これは汚染と自信を区別できるので、機械学習と認知科学の評価でよく使われる短い質問応答形式に適している。LogProberの原理を示し、特定の実験を通じて検証し、最近の認知テストのアイテムを使用してモデルを微調整する。結果は、LogProberが効果的に汚染を検出できることを示している。しかし、モデルが答えトークンだけを学習するさらなるモデル訓練実験では、LogProberは汚染を特定できない。これは、トークン確率を分析するだけではすべてのタイプの汚染が見つかるわけではないことを示している。

興味深いことに、実験ではLLMが質問自体を暗記する兆候を示さずに答えを暗記できることが示された。

#汚染とは何か、そしてそれは自信とどう関係するか？

ベンチマークや認知タスクは通常、特定の答えを持つ質問で構成される。LLMの性能は、質問を提供してモデルの応答を正しい答えと比較することで測られる。汚染は、質問や答えなどのテスト資料がトレーニングデータに存在する場合に発生する。つまり、モデルのパフォーマンスは一般化能力ではなく、トレーニングデータによって駆動される。

私たちの研究では、モデルが完全な質問-答えのペアを学習すると仮定している。後でこの仮定に挑戦し、そうでない場合に何が起こるかを議論する。汚染が起こると、モデルは質問を受け取った後に正しい答えを生成する可能性が高い。人間の認知と類似のアナロジーを引くと、モデルの反応の可能性はその自信と相関する。

汚染と自信を区別することが重要だ。汚染はモデルのトレーニングデータとの関係を反映するが、自信はモデルが自分の答えにどれだけ確信しているかに関するものだ。汚染されたペアへの反応は非常に自信があるように見えるが、他の手段によっても高い自信レベルが存在するかもしれない。たとえば、LLMが数列の次の数を特定するように求められた場合、その特定の質問がトレーニングデータに含まれていなくても、自信を持って答えることができる。

#LogProberアルゴリズムでの汚染の測定

ほとんどのモデルは「ブラックボックス」と見なされており、トレーニングデータにはアクセスできない。そのため、生成したトークンの確率から汚染を推定するしかない。もし質問-答えのペアがトレーニングデータに存在すると、モデルは汚染されている可能性が高く、モデルの答えは高い確率でそれを反映する。答えのログを直接分析することはできないが、質問の確率を見たりすることができる。

LogProberはこのアプローチを逆転させて、答えではなく質問に焦点を当てる。モデルが自信を持って質問を予測することは、明示的にそれにトレーニングされていない限り、稀だ。特定の質問における各トークンの確率を調べることで、累積ログ確率を視覚化できる。もし質問がトレーニングセットに存在すれば、その後のトークンの確率は1に近づき、高い自信を示し、ログ確率がすぐに安定する。

質問のログ確率曲線を取得したら、その形状を分析してモデルがその質問にどれだけ慣れているかの洞察を得ることができる。曲線に単純なモデルを当てはめてその形を定量化し、その特定の質問に対するモデルの汚染を測定できる。

#予測と訓練実験

LogProberは、モデルが特定の質問にどれだけ慣れているかの洞察を提供する2つのパラメータを生成する。これらのパラメータの対数を使用して変動を減らし、汚染の代理として使用する。この方法の効果を確認するために、いくつかの実験を実施した。

まず、著名な認知テストである認知反射テスト（CRT）からのパラメータを、トレーニングデータに含まれていないはずの後に作成された類似の質問と比較した。結果は、パラメータが2種類の質問の間で識別可能であることを示した。

次に、汚染されていない「ネイティブ」LLMと、CRTの質問と答えで微調整されたバージョンの間でこれらのパラメータを比較した。微調整の後、汚染パラメータがシフトし、モデルが質問-答えのペアにさらされるにつれて汚染が増加することを予測した。

質問または答えのいずれかに対してのみモデルを訓練する2つの追加の微調整実験を行った。これにより、汚染とモデルのパフォーマンスの複雑な関係を探ることができた。

#LogProberは古い質問-答えアイテムと新しいアイテムを区別できるか？

認知反射テストは、人間の推論を研究するために心理学で広く使われている。このテストにはよく知られたアイテムがあり、LLMのトレーニングデータに含まれている可能性が高い。私たちはLogProberを使って、元のCRTのアイテムと新しくデザインされたアイテムの両方を評価した。分析の結果、汚染パラメータが2種類のアイテムの間で著しく異なることが示され、LogProberが汚染された質問とそうでないものを効果的に区別できることを確認した。

#LogProberは汚染による変化を検出できるか？

有望な観察的証拠を示した後、LogProberの効果をテストするために制御実験を行った。新しいCRTのアイテムを使用してモデルを微調整した結果、LogProberがトレーニングデータの変化を検出した。汚染されたモデルのパラメータは、汚染されていないバージョンと非常に異なり、LogProberの能力に関する私たちの主張を検証した。

#異なる微調整戦略が精度と汚染のマーカーに与える影響

最初の微調整実験では、モデルがCRTアイテムの質問と答えの両方を予測できるように学習した。これは一つの汚染の可能性を示す。しかし、モデルは質問に基づいて答えだけを予測するように訓練されることもある。

結果は、モデルが答えだけを学習した場合、汚染マーカーは変化しなかったことを示した。一方で、質問だけに基づいて訓練された場合、汚染スコアは高く、精度に向上は見られなかった。これらの結果は、汚染と精度の間の複雑な関係を示している。LLMは答えを知っていても、対応する質問を知らないことが示され、LLMの学習プロセスが人間の認知とは異なることを示している。

#結論

私たちは、LLMの一般的な汚染を特定するために設計された手法LogProberを紹介し、その検証を行った。LogProberは、機械学習や心理テストでよく使われる質問-答えのシーケンスで機能する。この手法はトークン確率を分析し、質問を一度通過させるだけで済むため効率的だ。

私たちの結果は、LogProberが有名なアイテムと新たに作成されたアイテムの違いを見分けられる能力を示している。また、特定のトレーニング方法に続いて汚染を正確に検出できることも示している。証拠は、LogProberが事前トレーニング段階で汚染を効果的に捉える一方で、特定の微調整状況ではあまり効果的でない可能性があることを示唆している。

LogProberの結果は、類似のベンチマークと比較するとより明確に解釈できるが、このアプローチをスケールアップするのは課題があるかもしれない。さらなる研究が、LogProberスコアと汚染の可能性との関係に関する洞察を提供し、他の方法が汚染と自信の区別における信頼性を高めるかもしれない。

要するに、LogProberはLLMの汚染を調べるための便利な方法を提供し、これらのモデルが人間の認知とは異なる方法で学習する違いと、今後の研究における示唆を明らかにしている。