言語モデルを評価する新しい方法

言語モデルは近年、テキスト生成や理解のタスクへのアプローチを変えるほど進化してきた。ただ、これらのモデルを正しく評価するのは難しいこともあるんだ。今の評価方法は、一つか二つのプロンプトに偏りがちで、モデルができることの全範囲を示せない場合が多い。この狭いアプローチは、特に異なるプロンプトを使って異なるモデルを比較するときに、誤解を招く結果を生むことがある。

この論文の目的は、複数のプロンプトを効果的に評価して、言語モデルの全体的なパフォーマンスをより良く理解することだ。できるだけ少ない評価で、多様なプロンプトに対してモデルがどれくらい機能するかを迅速に見積もる方法を作りたい。

#現在の評価の問題

多くの人気のある言語モデルの評価方法は、ほんの少数のプロンプトテンプレートに依存しているんだ。これじゃ、モデルの能力を完全に評価することができない。最近の研究では、特定のプロンプトの言い回しに対してモデルがどれほど敏感かが明らかになっていて、そのためにパフォーマンスに大きな違いが出ることがある。この問題は、異なるプロンプトを使った場合に、評価のランキングが不一致になることにもつながる。

これに対処するために、たくさんのプロンプトのバリエーションに渡るパフォーマンスを見ていく新しい方法を提案するよ。一つのプロンプトに依存するんじゃなくて、いくつかのプロンプトの情報を組み合わせて、モデルの能力をより明確にするアプローチなんだ。

#我々の方法の紹介

我々の方法は、教育評価技術、特にアイテム反応理論（IRT）からの洞察を借りて機能する。これによって、様々なプロンプト群に渡るパフォーマンスを分析できるようになり、少数の選択肢しか評価できない時でも正確な見積もりができる。

我々は、この方法がパフォーマンス分布を一貫して見積もることができることを示し、三つの有名なベンチマーク：MMLU、BIG-bench Hard、LMentryに適用した例を示すよ。例えば、我々の方法では、二つの従来の評価に許される予算を使って、100のプロンプトテンプレートにわたるパフォーマンスを見積もれるんだ。

#パフォーマンス分布と分位数

我々のアプローチの一つの重要な特徴は、パフォーマンス分布に焦点を当てることだ。多くのプロンプトに渡るパフォーマンスを見ていくことで、平均スコアやその他の特定の分位数といった有用な統計を集められる。例えば、典型的なパフォーマンス（中央値）や、上位95%のパフォーマンスを知ることで、専門的なプロンプトエンジニアが達成可能なことを反映できるかもしれない。

パフォーマンス分布を使うことで、異なる文脈での様々なモデルのパフォーマンスを調べられる。例えば、モデルが一般的なシナリオでどのように機能するかを知りたい場合は中央値を見ることができる。しかし、低品質な状況でのパフォーマンスを見たいなら、5%分位数をチェックすればいい。

#言語モデルの感受性に対処する

言語モデルが異なるプロンプトテンプレートにどれほど敏感かは、いくつかの研究で記録されている。言い回しの小さな変更が、精度に大きな違いをもたらすことがある。一部の研究者は、この感受性を「パフォーマンススプレッド」という指標を使って測定することを提案していて、これは異なるプロンプト間での最高と最低のパフォーマンスの差を見ている。

我々の仕事は、全体のパフォーマンス分布を効率的に計算する方法を提供することで、これに貢献している。このアプローチは、単一のプロンプトに基づく信頼性のないランキングのリスクを減らす、より堅牢な評価フレームワークを確立するのに役立つ。

#複数のプロンプトテンプレートに渡る評価

我々の論文では、我々の方法をいくつかのモデルと様々なプロンプトテンプレートに対して評価するよ。評価では二つの主なポイントに焦点を当てている：

1. 推定分布と実際のパフォーマンス分布の比較を行い、精度を評価する。
2. 特定の分位数を評価し、推定値が真の値にどれほど近いかを確認する。

そのために、我々は三つの広く認識されたベンチマーク：MMLU、BIG-bench Hard、LMentryを使用する。MMLUデータセットだけでも、約14,000の例を57の科目にわたって考慮し、15の異なるオープンソースの言語モデルを評価するよ。

#結果

#パフォーマンス分布

我々の結果は、我々の方法がパフォーマンス分布を見積もる際に、ベースラインを大幅に上回っていることを示している。埋め込みなどの追加の共変量を使ったモデルは、一般的に良いパフォーマンスを発揮し、様々なプロンプトにわたってより正確な推定を提供している。

#分位数の推定

我々は、我々の方法が特定の分位数をどれほどよく推定できるかも調べた。結果は、極端な分位数を推定するのは難しくて評価がもっと必要だけど、中央の分位数は比較的少ない評価で正確に推定できることが多いと示唆している。

#ベストプロンプトの特定

我々の方法のもう一つの面白い応用は、選択肢の中からベストプロンプトを見つけることだ。これをバンディット問題として考えることで、過去のパフォーマンスに基づいてどのプロンプトを評価するかを効果的に選べる。我々の方法は、既存のアプローチよりも優れていて、後悔を低く抑えられるから、より信頼性高くベストパフォーマンスのテンプレートに近づける。

#プロンプトの感受性を分析する

我々は、特にMMLUデータセットの中で、言語モデルがプロンプトテンプレートの変化にどれほど敏感かを詳しく見ていく。分析によると、全体的なモデルパフォーマンスは一貫している一方で、個々の科目のパフォーマンスは使用するプロンプトに応じて大きく異なることがあるんだ。

#パフォーマンススプレッド分析

科目間でのパフォーマンスを平均すると、言語モデルごとに顕著なスプレッドが見られるが、他のデータセットに比べて相対的に小さいことも観察された。これにより、いくつかのモデルが一貫して良いパフォーマンスを示している一方で、プロンプトの選択が特定の領域でのパフォーマンスに大きく影響することがわかる。

#テンプレート間の一貫性

評価のもう一つの重要な側面は、異なるプロンプトが科目やモデル間でどれほど一貫してパフォーマンスを発揮するかを確認することだ。あるプロンプトは様々なタスクで良いパフォーマンスを示すことがあれば、他のプロンプトはあまり信頼性がないこともある。我々は、プロンプトテンプレートがしばしば一貫性を欠くことが多い、つまりすべてのタスクに対して普遍的にベストなプロンプトはないことを発見した。

#堅牢な評価の必要性

我々の方法は、単一のプロンプトから得られる結果の信頼性に関する懸念に対処し、言語モデルのより徹底的な評価を可能にする。多様なプロンプトのバリエーションにわたって分布や分位数を比較する手段を提供することで、より信頼できるランキングと評価に向けて進むことができる。

ただ、まだ克服すべき課題もある。一つの大事な質問は、評価に適したプロンプトをどう選ぶかということだ。我々の方法はこれを助けるけど、プロンプトエンジニアリングの問題は完全には解決されていない、これは言語モデルの評価において重大な側面として残る。

#今後の方向性

将来的には、我々のアプローチがどのように拡張されるかが楽しみだ。例えば、動的に生成されたプロンプトに対応できるように我々の方法を適応させることで、モデル評価のさらなる改善が期待できる。

さらに、スコアが制約されている場合やバイナリでない場合に、正確性スコアをどのように扱うかを改良することで、評価の効果が向上し、より良いインサイトにつながるかもしれない。

#結論

要するに、我々の研究は、複数のプロンプトにわたる言語モデルの評価に新しく効率的なアプローチを導入するものだ。少ない評価でパフォーマンス分布や分位数を正確に見積もることで、異なるモデルのパフォーマンスについてより明確な洞察を提供できる。我々の方法は手法の改善を示すだけでなく、プロンプト選択や評価戦略に新たな課題をもたらす。今後は、これらの評価をより信頼でき、包括的なものに洗練させていくことで、言語モデルが効果的で意味のある形で評価されるようにしていくのが目標だ。