LLMsにおける欠品予測の課題

大きな言語モデル（LLM）は、リストに欠けているアイテムの提案ができるツールだよ。これによって、リストを完成させたり、ユーザーが以前に興味を示したものに基づいておすすめを出したりするのに役立つ。ただ、リストにアイテムが多すぎると、モデルは困難に直面するんだ。例えば、100個ぐらいのアイテムがあると、入力に既に含まれているアイテムを提案し始める。この問題は「注意のオーバーフロー」と呼ばれている。アイテムを繰り返さないためには、モデルが一度にすべてのアイテムを把握しておく必要があるんだけど、これは難しいんだよね。

#モデルのパフォーマンス評価

LLMは大きなコンテキストウィンドウを持っていて、情報のかたまりを処理できる。しかし、理論上の限界があるからといって、その量でうまく機能するわけではない。モデルが大きなコンテキストでどう機能するかを評価するために、さまざまなテストが設計されている。多くのテストは情報の取得や推論タスクに焦点を当てていて、他の多くの情報の中から関連する詳細を見つけることを意味しているんだ。

別のアプローチとして、長いリストから何が欠けているかを特定するモデルの能力を見ている。モデルが欠けているアイテムを予測できるかどうかを確認するタスクを設定している。これは、ユーザーが見た映画のリストを提供して新しい提案を求める映画推薦に特に役立つ。このタスクでは、モデルが帰納的に推論して、自分が知っていることと入力リストにあることを比較する必要がある。現在の多くのモデルはこれに苦労していて、予測での繰り返しが生じているんだ。

#繰り返しの問題

モデルに長いリストを出すように求めると、リストに既にあるアイテムを繰り返しがちだ。例えば、2022年の映画を200本リスト化するように頼むと、いくつかのタイトルを繰り返すことがある。映画推薦に特に注目していて、ユーザーが見た映画をリストアップして新しい映画を求めるような場合を強調している。欠けている数字を特定するような合成テストも作っている。

これらのモデルがアイテムを繰り返す頻度を分析していて、既存の言語モデルを使用し、ファインチューニングで問題が解決できるか調べている。このテストに使用するデータセットは一般に公開されている。

#欠けているアイテムの予測に関する研究

欠けている数字や映画を予測することに焦点を当てた研究がある。そのタスクにおけるモデルの正確さについても調査されている。繰り返しは言語モデルでよくある問題で、同じ単語を永遠に繰り返してしまうような出力を引き起こすことがある。小さいレベルでの繰り返しを減らすためのいくつかの方法が開発されているけど、多くのアイテムを同時に扱うのは難しいんだ。

以前の研究では、長いコンテキストで注意メカニズムがどれだけうまく機能するかを調べていて、主に存在するものを取り出すことに焦点を当てていた。その他のプロジェクトでは、大量のテキストでモデルが推論タスクをどう管理するかを分析している。

#言語モデルを使った推薦

この研究は、言語モデルが推薦にどのように使われるかに関連している。ユーザーはしばしば自分の好みをリストアップし、モデルがアイテムを提案することができる。ただ、この研究では、これらの提案がどれほど正確か、特にユーザーにとって本当に新しいものかどうかについては深く掘り下げていない。

#欠けているアイテム予測タスク

欠けているアイテム予測タスクを明確に定義すると、アイテムのコレクションが与えられたとき、モデルはリストから欠けているものを推測するべきなんだ。このタスクはトリッキーだけど、アイテムが簡単に特定できる明確な例を使って設定することもできる。

モデルのパフォーマンスを評価するために、2つの重要な測定基準を見ている：

1. 正確さ：モデルが欠けているアイテムを正しく特定する頻度は？
2. 繰り返し率：モデルがリストに既にあるアイテムを提案する頻度は？

アイテムを繰り返すのは常に間違いだ。シンプルなタスクでは高い正確さと繰り返しがないことを期待している。タスクがもっと難しい場合でも、モデルはアイテムを繰り返さないようにすべきだ。

このタスクの例を作成するために、アイテムセットを選んでランダムに1つのアイテムをピックアップして、モデルに欠けているアイテムを特定するように求めるプロンプトを提示する。

いくつかのアイテムセットでテストしている：

• 映画：多くの映画を見たデータセットのユーザー。
• 数字：1から1024の範囲の数字。
• 英語で書いた数字：同じ数字を英語で書いたもの。

例えば、「5, 7, 1, 3, 6, 8, 4の中で欠けている要素を見つけて。」というプロンプトがあると、期待される答えは「2」だ。

一貫したプロンプトを使ってモデルを誘導していて、モデルには特定のフォーマットで1つの答えだけを提供するように指示している。説明はなしだよ。

#ゼロショット評価の言語モデル

欠けているアイテム予測タスクでのパフォーマンスをチェックすることで、さまざまなインストラクションチューニングされた言語モデルを評価している。数字と映画の両方に焦点を当てている。ほとんどのモデルは、アイテム数が128未満の時は数字予測タスクでまあまあ良い結果を出している。アイテム数が増えると、大きなモデルがより良いパフォーマンスを示す傾向があるが、繰り返しが増え、256アイテムを超えると全体的な正確さが低下するんだ。

映画推薦に関して、低い正確さは必ずしもモデルが失敗したことを意味するわけではなく、関連する映画を提案できる場合もある。でも、繰り返しが増えていくと、より多くの例を提供するユーザーにとっては大きな問題になり、結果が期待できないんだ。これがモデルの推薦生成の効果に悪影響を及ぼすことがある。

#ファインチューニングとその課題

モデルのファインチューニングがこれらの問題を減らせるか探っている。ファインチューニングには特定の数字セットを使い、同じタイプのデータ（インドメイン）と異なるタイプのデータ（アウトオブドメイン）でモデルを評価している。ファインチューニングはおなじみのデータタイプの結果を改善するけど、改善は大きなセットや他のデータタイプにはあまりうまくいかない。このことは、これらのモデルがどう機能するかにいくつかの限界があって、ただデータをもっと提供しても解決できないことを示唆しているんだ。

#対照的評価

特定の要素がリストの一部かどうかを認識するモデルの能力もテストした。モデルに特定のアイテムが存在するかどうかを確認するように求めることで、アイテム数が増えるにつれてその正確さを測定できる。我々の結果は、モデルが1024アイテムまで良い正確さを保てることを示していて、アイテムが明示的に質問に挙げられたときにより良いパフォーマンスを示すことが分かった。

#結論

欠けているアイテムを効果的に予測するためには、言語モデルが欠けているアイテムの明確な表現を作成しなければならない。その後、モデルはこの表現をプロンプト内のアイテムと比較する。モデルの各レイヤーはその表現を洗練できるけど、現在のモデルは多くのアイテムを扱う際には効果的にこれを行う深みが不足していることが多い。

欠けているアイテム予測に焦点を当てた新しいデータセットを提示し、映画推薦のようなタスクで繰り返しが発生することを示している。これはモデルのパフォーマンスに影響を及ぼすリアルな問題なんだ。このような発見は、モデルが長いコンテキストを処理する際のパフォーマンスを解釈する際に注意が必要であることを強調している。これは「注意のオーバーフロー」に起因していると思っていて、モデルがすべてのアイテムを一度に評価しなければならず、プロセスが複雑になるからなんだ。

これらのタスクで注意ヘッドがどう機能しているかについてのさらなる調査が有益だけど、これを分析するのはかなり難しいことがある。我々が作成したデータセットは今後の研究のために利用可能で、アイテムセットは8192まであるよ。