PE-Rank: 新しいパッセージ再ランク付けのアプローチ

最近の研究では、大規模言語モデル（LLM）がパッセージを効果的にランク付けできることが示されています。RankGPTのようなリストワイズ手法は、この分野で新たなスタンダードを確立しました。しかし、RankGPTは最大コンテキスト長と推論中のレイテンシの高さにより限界があります。この論文では、リストワイズ再ランク付けでより良いコンテキスト圧縮を実現するために、単一パッセージ埋め込みを使用するPE-Rankを紹介します。各パッセージを特別なトークンとして扱うことで、これらの埋め込みをLLMに入力でき、入力長が減ります。また、デコーディング空間をこれらの特別なトークンに変更する推論技術を提示し、デコーディングを加速します。トレーニングにはリストワイズの学習ランク損失を適用します。さまざまなベンチマークでの評価では、PE-Rankが効率を向上させつつ、強力なランキング結果を維持することが確認されました。

#背景

パッセージのランク付けは、ウェブ検索を含む多くのアプリケーションで重要です。一般的な方法は「検索後ランク付け」で、まず候補のセットを取得し、その後より良い結果を得るために再ランク付けします。検索段階では、バイエンコーダ構造を使用した密なモデルが人気です。これらのモデルはテキストを低次元の埋め込みにエンコードし、ベクトルの類似性を通じて意味的な関連性を捉えます。

#RankGPTとPE-Rankの比較

RankGPTは完全なパッセージを使用し、順序付きの出力を提供します。一方、PE-Rankは入力と出力の両方に特別なトークンのリストを使用します。再ランク付けの段階では、より高性能なモデルを適用できます。GPT-4のようなLLMもゼロショット再ランク付けのテストが行われ、RankGPTのようなリストワイズ手法が複数のパッセージの最終ランキングリストを生成することで注目すべきパフォーマンスを達成しています。

#リストワイズアプローチの課題

効果的ではありますが、これらの手法は課題にも直面しています。まず、LLMはコンテキスト長に制約されており、複数のパッセージを同時にランク付けするのが難しいです。次に、プロンプトにパッセージ全体を含めることで推論コストとレイテンシが増加します。そのため、リストワイズプロンプトの圧縮が重要です。既存のコンテキスト圧縮手法は圧縮率が低く、単一パッセージに焦点を当てているため、ランク付けのニーズには不十分です。

#PE-Rankの提案

PE-Rankは、圧縮された表現として単一のパッセージ埋め込みを使用します。これらの埋め込みは密な検索モデルから取得し、元のテキスト入力をそれに置き換えます。そして、検索モデルとLLMの間をプロジェクターでつなぎます。PE-Rankは新しい推論とトレーニング手法を通じてランク付けタスクに適応します。効果的な推論のために、「ダイナミック制約デコーディング」を利用し、デコーディング空間を特別なトークンだけに調整します。

#評価

PE-RankはTREC DLとBEIRベンチマークで評価されました。結果は、圧縮されていない手法と比較して競争力のあるパフォーマンスを維持しつつ、効率を大幅に改善することを示しています。特に、DL19でBM25のトップ100候補を再ランク付けした際には、パフォーマンスの低下が2%未満で、レイテンシが4.5倍削減されました。

#結論

PE-Rankをリストワイズパッセージ再ランク付けの新しく効果的なアプローチとして提案し、埋め込みを使用してコンテキスト圧縮を実現しました。評価結果は競争力のあるパフォーマンスとかなりの効率向上を示し、ランク付け分野における重要なステップとなることを示しています。

#今後の課題

この研究には、パッセージ埋め込みとダイナミックデコーディングが必要で、複雑さとメモリ使用量が増えるという制限があります。また、異なる埋め込みモデルを使用する場合、MLPとLLMの両方をファインチューニングする必要があります。将来の研究は、MLPのみを使用することを許可することで、よりシンプルなアプローチを目指すことができるでしょう。最後に、この研究で使用されたモデルは比較的小さく、より大きなモデルが提案された手法にどのように影響するかを理解するためのさらなる調査が必要です。