言語モデルをランク付けする新しい方法

大規模言語モデル（LLM）の評価とランク付けは、これらのモデルが広く使われるようになってきた今、ますます重要になってきてるよ。従来の評価方法は、人間のフィードバックに依存してることが多く、これはコストがかかったり、手に入れるのが難しかったりするし、モデル同士で評価し合う方法だと、信頼性のない結果を生むこともある。この記事では、参照答えや真実のデータなしにLLMsをランク付けする新しい方法を紹介するよ。

僕たちのアプローチは、専門家や知識のある人たちが初心者と有能な人を見分けられることからインスパイアされてる。3つのモデルのグループを作って、それぞれのモデルが他の2つを評価するっていう方法を提案するんだ。こうすることで、各モデルは、どれが一番弱いかを見分けられる可能性が高い。で、このアイデアを分析して、うまく機能する条件を整理したよ。

僕たちは、このトリプレットアプローチに基づいた2つのメソッドを開発した。要約や選択肢問題、対話などのさまざまなタスクでテストした結果、参照データなしでも真のランキングに近い信頼できるランキングを見つけられることがわかった。これは、リソースをあまり必要とせずにモデルを評価する有用な方法を示唆してるよ。

#LLM評価の課題

LLMsの能力が急速に進化してることで、パフォーマンスを評価するのが難しくなってる。LLMがどれだけうまくできるかを測るためには、入力プロンプト、モデルの応答、そのモデルのパフォーマンスを測る方法が必要なんだ。

一般的なベンチマーク手法は、入力プロンプトと参照答えがセットになったデータセットを使用することで、自動化されたメトリクスがモデルの応答を評価できるんだけど、これらのベンチマークは小さな変化に敏感で、LLMsの急速な改善であっという間に陳腐化することがある。分類タスクや選択肢問題のための参照ラベルは取りやすいけど、生成タスクのためのラベルを取得するのはもっと複雑。さらに、特定のメトリクスに焦点を当てたベンチマークは、LLMが実際にどれくらいうまく機能しているかをうまく捉えられないこともある。

こうした問題を解決するために、LLMsをジャッジとして使うアイデアが注目を集めてる。これにより、LLMsが人間の好みに基づいて出力を評価することができるんだけど、これはしばしば単純なメトリクスじゃ捉えきれないくらい複雑なんだ。ただ、この方法は、LLMsにバイアスがあるかもしれないし、どのLLMをジャッジとして選ぶのがいいか決めるのが難しいこともある。

#僕たちのアプローチ

僕たちの研究では、どのLLMがジャッジとして信頼できるか分からない状況を見てみた。LLMsのグループとプロンプトのデータセットを用意したんだ。目標は、選んだタスクに対するパフォーマンスに基づいてこれらのモデルをランク付けすること。事前に彼らの質を仮定せず、参照応答も必要としないんだ。

この方法では、3つのモデルを一度に見て、それぞれが他のモデルを評価することで、どれが一番弱いと判断できるようにしてる。2つのモデルだけでは、信頼できる結果は得られないから、品質に関する仮定がない状態から始めることが大事なんだ。僕たちのトリプレット法は、専門家が知識のある人と初心者の違いを通常見分けられるっていう考えに基づいてる。これは、僕たちが提案してる両方のメソッドの核心なんだ。

LLMのジャッジプロセスは、2つの応答を単純に比較するだけに限定される必要はない。ROUGEやBERTスコアのような自然言語処理（NLP）メトリクスを使って、ジャッジモデルの応答に最も近い応答を見つけることもできる。推薦システムのように、ユーザーの好みに基づいてアイテムを推薦するのとは違い、ここではLLMsが外部の入力なしでお互いをランク付けするんだ。

#トリプレットアプローチの分析

僕たちはトリプレット法をさらに研究して、うまくいく可能性のある条件を明確にした。トリプレットの各モデルは、自分の応答に基づいてパフォーマンススコアを持ってるんだ。十分な条件を分析して、他の2つのモデルがそのモデルを最も弱いと評価する可能性が高い状況を考えたよ。

まず、モデルが応答を生成するとき、彼らの誤った答えがあまり重複しないことが重要だってことに気づいた。もし2つのモデルが同じようにプロンプトに誤った応答をすると、彼らはお互いに弱いモデルを見分けるのを助けられないかもしれない。でも、異なる間違いをすれば、全体的にパフォーマンスの低いモデルが最も弱いと見なされる可能性が高くなるんだ。

正しい答えの重なり度は、モデルの能力によって変わるよ。モデルがプロンプトに正しく応答する能力が高いほど、パフォーマンスの低いモデルを特定するのに役立つ可能性が高まる。この方法は、特に応答が長くなるようなコンテキストで効果を発揮することが期待されてる。なぜなら、長い応答はしばしばより多様な出力を提供するからなんだ。

#関連研究

ベンチマーキングは、LLMに取り組む研究者にとって重要な焦点なんだ。LLMを評価することは、急務な課題とみなされてる。パフォーマンスベンチマーキングは存在するけど、すべての状況に適した解決策はない。信頼性や安全性など、評価の他の次元も重要で、バイアスやステレオタイプ、倫理的な考慮が問題視されてる。包括的なベンチマークは、パフォーマンスと安全メトリクスの両方を含むようになって、結果はさまざまなリーダーボードで共有されてるよ。

バイナリラベルや選択肢問題に対しては、精度が一般的に用いられるメトリクスなんだ。一部の研究者は、LLMのパフォーマンスを評価する際に不確実性を考慮することの重要性を指摘してる。生成タスクでは、BLEUやROUGEのようなメトリクスが生成されたテキストと参照テキストを比較するために使われる。他の手法、例えば自然言語推論（NLI）は微妙な理解を必要とし、さまざまなライブラリは複数のメトリクスを一緒に使うことを可能にしている。

モデルの応答の有用性や安全性に関する人間の好みは、特定のデータセットで集められてるんだ。他にも、OpenAssistant Conversationsのような重要なコレクションは、応答に対する人間の評価を含んでる。人間のフィードバックを集めるのはコストがかかることが多いけど、LLMsが人間の評価の代理としてモデルの質を判断するために使われることもあるんだ。

#LLMのランク付けの提案メソッド

僕たちのトリプレットアプローチに基づいて、真実のデータがないときにLLMsをランク付けするための2つの方法を提案するよ。1つ目はグリーディアプローチで、2つ目のメソッドはすべてのトリプレットを考慮して、より広いランク付けを確立するものなんだ。

#グリーディトリプレットランク（GTR）

GTRでは、モデルのグループ、プロンプトのデータセット、モデルの応答を比較するための評価メソッドを使うんだ。このプロセスは、各ラウンドで3つの中から一番弱いモデルを見つけることを含む。ランダムなトリプレットから始めて、GTRは一番悪いモデルを特定して、取り除いて、別のモデルを追加しながらトップ2のモデルを見つけ出す。このプロセスは、3つ未満のモデルが残るまで続けられる。最終的には、最初のランでのトップ2のモデルのうちの1つが選ばれ、その結果に基づいてランキングを確定させるんだ。

この方法を通じて、すべてのモデルは最終的に、徐々に弱いモデルを特定して取り除くことでランクを受け取ることになるよ。

#フルトリプレットランク（FTR）

FTRもモデルのセット、プロンプト、評価関数から始まるけど、すべての可能なトリプレットを調べて、各モデルのレピュテーションスコアを導き出すんだ。これらのスコアは、次のラウンドでモデルをランク付けするのに役立つんだよ。最終的なスコアがモデルのランキングを知らせる。

GTRはトップモデルを特定するのには効率的だけど、FTRはすべての利用可能なデータに基づいてより包括的なビューを提供するよ。

#成功のための条件

僕たちのトリプレット法が効果的に機能するための十分な条件を見つけるのは重要なんだ。トリプレットのモデルを使って、タスクに対する彼らのパフォーマンスがランキングにどのように影響するかを分析するよ。モデルを評価する際、モデル同士が誤った応答で一致しないことが良い結果を得るのに役立つ。そうすれば、相互に正確な評価を助けられるからなんだ。

誤った応答の重複が最小限になることが期待されるのは、特に長文の生成タスクにおいてだよ。モデルに関する期待が正しければ、一番良いモデルと一番弱いモデルははっきりと目立つべきだから、トリプレット評価での効果的な特定が可能になるんだ。

実際のシナリオでは、モデル同士の正確さの度合いがランキングの結果に大きな違いをもたらす可能性がある。モデルの生成能力が非常に近い場合、パフォーマンスを適切に区別するのは難しくなってしまうよ。

#提案されたメソッドの時間計算量

GTRアプローチでは、各トリプレット評価内でトップ2のモデルを特定するためにforループ構造を使用してるから、時間計算量はO(n)になる。一方で、FTRはすべてのトリプレット比較を評価するから、その時間計算量はより広範で、モデルの数が多い場合はO(n^3)になるんだ。

#実験結果

僕たちはGTRとFTRの両方を、要約タスク、選択肢シナリオ、対話生成の3つのコンテキストでテストした。パフォーマンスをベンチマークするために、すべてのモデルの応答の中で最も一般的な答えを決定する新しい方法を設計したよ。

#要約タスク

CNN/Daily MailとXSUMという2つの要約データセットで、両方のメソッドを評価した。LLMからの応答を集めて、どれだけメソッドが参照データに対してランキングをうまくキャッチできるかを測定したんだ。結果は、GTRとFTRの両方が、データセットサイズが増すに従って、一番一般的な答えのアプローチを一貫して上回ったことを示してる。

#選択肢評価

選択肢シナリオでは、モデル間で既知の精度をシミュレーションしたデータセットを作成した。結果は、可能な応答の数によってパフォーマンスが変わることを示してて、選択肢の数が少ないときは僕たちのメソッドは一般的にうまく機能しなかった。でも、応答セットが増えるにつれて、僕たちのメソッドは競争力を持つことができたよ。

#対話生成

対話実験では、道徳的価値を最適化することを目的とした複数のファインチューニングされたバリアントを比較した。FTR法は、人間の好みに基づいてモデルを正確にランク付けできて、一番良いモデルと一番悪いモデルを正しく特定できたよ。

#課題と限界

僕たちのメソッドが成功を収めたとはいえ、課題は残っている。選択肢タスクにおける誤った答えの高い相関が、評価の効果を妨げることがある。特に、はい/いいえのように出力が限られるコンテキストではこの傾向が強い。

さらに、実験は主に英語で行ったから、僕たちの発見の幅広い適用可能性が制限されるかもしれない。対話評価での道徳的判断は主観的だから、異なる人間の評価者が異なるランキングを導く可能性があるんだ。

#倫理的考慮

僕たちの仕事は、参照データセットを作成するための人間の労力を削減することで、LLM評価の信頼性を高めることを目指してる。これによって、潜在的に有害なコンテンツを評価する際の心理的負担を軽減できるかもしれない。ただ、僕たちのランキングはあくまで粗い推定であるべきで、人間の監視はアプリケーションに使用されるモデルの質を確認するためにまだ必要なんだ。

#今後の方向性

今後の研究には多くのエキサイティングな分野がある。例えば、同じファミリー内のモデルからの部分的なランキングなど追加情報を組み込むことが考えられる。このことで、不確実性をよりうまく扱うためのベイジアンアプローチを含む新しい方法が開けるかもしれない。

さらに、各ラウンドでの比較のための大きなセットを探ることも、計算コストに注意しながら興味深い洞察をもたらすかも。そして、GTRのより効率的なバリアントの開発も有用だろう。最後に、僕たちのメソッドはLLM以外にも、非専門家の評価者やアルゴリズム推薦の複雑なタスクの評価などに応用されるかもしれない。

#結論

LLMsが進化し続ける中で、信頼できる評価方法は欠かせない。僕たちが提案するトリプレットアプローチは、真実のデータなしにランク付けを可能にするから、非常に有望な解決策を提供する。LLMsを使ってお互いを評価し、参照データセットへの依存を最小限に抑える方法を確立することで、もっと信頼できる評価の実践に向けて大事なステップを踏み出せるんだ。