実世界で使うための大規模言語モデルの評価

大規模言語モデル（LLM）は、機械が人間らしいテキストを学習・生成する方法を変えちゃったよ。でも、これらのモデルがどれくらいうまく機能するかを測るのは難しいことも多いんだ。既存のテストは、実際のシチュエーションでのモデルのパフォーマンスを反映していないことが多い。良いテストは、さまざまなモデルの違いを見せて、ユーザーが望む回答に合致しているべきだよ。今のテストは一般的な質問に焦点を当てがちで、法律や医学、異なる言語みたいな重要な分野はカバーできてないんだ。これを改善するのが目標さ。

#より良い評価の必要性

今のLLM用のテストは、実際の利用に関してはなかなか当たらないんだ。人間の評価がモデルのパフォーマンスを判断するのに最もいい方法だけど、時間とお金がかかる。そこで、研究者たちは一つのLLMを使って他のLLMの出力を評価する方法、つまり「LLMをジャッジとして使う」っていうのを始めたんだ。これによって評価プロセスを自動化しつつ、信頼性のある結果を得られるようになるんだ。

ただ、Alpaca-EvalやArena-Hardみたいな既存のフレームワークには限界がある。一般的なチャットプロンプトに焦点を当てすぎてて、多くのユーザーにとって重要な専門分野がカバーされてないんだ。それに、ほとんどのテストが英語で行われて、現代のモデルの多言語能力を無視している。これらのモデルの能力が高まっていく中で、さまざまな言語や分野でのタスクをどれくらいうまくこなせるかを反映できるテストが必要なんだ。

#評価へのアプローチ

これらの問題に対処するために、私たちはより特定のドメインをカバーする評価セットを作る新しい方法を開発したよ。まず、様々な公共データセットからプロンプトを集めて、多様なコンテンツを揃えた。次に、選ばれたプロンプトの意味を捉える代表形式である埋め込みを作成した。少しのプロンプトにラベルを付けて、このラベル付きデータを使って他のデータセットを分類したんだ。

一つのカテゴリに偏ることがないように、異なるドメインと言語からのバランスの取れた代表を取得したよ。手動チェックでデータセットを精査した結果、広範囲なトピックを代表する1,573の特定サンプルが得られたんだ。

#私たちの方法の利点

私たちの方法の重要な利点の一つは、定期的な更新が可能なこと。データパイプラインを再実行することで、新しいデータが利用可能になるたびに評価セットをリフレッシュできるんだ。これで基準が最新のものになって、現実のニーズに合った形を保てる。最終的な評価セットは、Chatbot Arenaという有名なプラットフォームでのモデルのランクに近いんだ。だから、私たちのテストは他の既存の基準よりも人間の好みに合ってる。

私たちのアプローチのもう一つの重要な特徴はオープンソースであること。これで誰でも私たちのフレームワークを使って、自分のニーズに合わせて調整できるようになるんだ。異なるカテゴリでモデルのパフォーマンスを評価するためのツールを提供して、どのモデルが特定のタスクに最適かを知る手助けをするよ。

#競合の見方

私たちの評価セットをAlpaca-EvalやArena-Hardと比較したとき、いくつかの点で私たちのセットが優れていることが分かった。私たちは84%の分離性スコアを達成し、異なるモデルの能力を効果的に区別できることが確認できたんだ。これは既存のフレームワークに比べて大きな改善だよ。

さらに、私たちの評価セットがChatbot Arenaのランキングとどれだけ一致しているかも調べた。私たちのアプローチは84%の一致スコアを出していて、他の基準よりも良い結果を出したんだ。それに、Spearmanの相関係数は0.915で、私たちの基準とChatbot Arenaのランキング間の順位の強い相関を示しているよ。

#データソースと多様性

私たちの評価セットが本当に多様であることを確保するために、医学、法律、金融、数学、コーディングなどの異なるドメインをカバーする数多くのソースからプロンプトを集めたよ。日本語、アラビア語、タイ語など、さまざまな言語でのプロンプトも含めたんだ。この広範なアプローチで、モデルが世界中のユーザーにとって関連性のあるコンテキストでどれくらいパフォーマンスを発揮できるかを評価できるんだ。

#評価プロセス

私たちの評価プロセスでは、LLMをジャッジとして使うフレームワークを利用するよ。一つのモデルを使って他のモデルが生成した回答を評価するんだ。ジャッジモデルに対して、役立ち度、関連性、正確性などの基準に基づいてどの回答が良いかを判断させるんだ。回答の順番に関連するバイアスを避けるため、評価中に出力の順番を入れ替えているよ。

ジャッジモデルにプロンプトを与える際には、関連する側面に焦点を当てさせ、不正確な回答にはペナルティを与えるようにしている。特に多言語の問い合わせではね。これで、各モデルの強みと弱みを真に反映した公平な評価が得られるんだ。

#信頼区間とモデルのランキング

評価の信頼性を測るために、信頼区間を使っているよ。これによって、私たちが出すランキングにどれだけ自信を持てるかが分かるんだ。ブートストラッピングっていう方法を使って、各モデルのパフォーマンスがどうで、他とどう比較できるかをより明確にするんだ。

私たちは、分離性、人間の好みスコアとの一致、予測の正確性を測るのに役立つブライアスコアなど、基準を評価するためのさまざまなメトリックを提供しているよ。私たちの目標は、評価セットが現実のアプリケーションでユーザーが望むものに近くなるようにすることなんだ。

#結果と発見

私たちの発見では、基準が他の基準と比べて強い分離性と一致スコアを持っていることが分かった。私たちの方法によって、モデルをより効果的に評価できることが示されたよ。正確さだけじゃなく、タスクの多様性も重視されているんだ。

テストの結果、特定のカテゴリが他よりも良いパフォーマンスを示すことが分かった。例えば、モデルがさまざまなトピックをどれだけうまく扱えるかを見ると、あるカテゴリは医療や法律などのニッチな分野に比べてパフォーマンスをうまく分けることができたんだ。これは、今後の評価を改善するために、これらのあまり代表されていない領域でのデータ収集がもっと必要かもしれないことを示唆しているね。

#今後の方向性

これからの目標として、評価プロセスの一部を自動化することを計画している。カテゴリー生成や品質管理などをLLMに統合することで、人間のキュレーターの負担を軽減して、更新を早くしたいんだ。

それに、より多様なモデルを含めてリーダーボードを拡大することも考えているよ。これで、異なるモデルが異なるドメインでどうパフォーマンスを発揮するかをもっと包括的に理解できるようになるんだ。さらに、私たちの基準の多様性をより定量的に分析していきたいと思っている。

基準を改善することで、開発者がモデルをテストし、洗練させるためのより良いツールを提供できることを目指しているよ。私たちの目標は、堅牢でありながらAIと語学技術の進化するニーズに適応できるフレームワークを作ることさ。

#結論

まとめると、私たちはLLMを評価するための新しいアプローチを紹介したよ。実際の応用性と多様性に焦点を当てているんだ。私たちの評価セットは、広範なドメインや言語をカバーするように設計されていて、実際のユースケースをよりよく反映できるようになっている。オープンソースなツールのおかげで、実務者が自分のニーズに合わせて私たちの方法を適応させて使えるようになっているんだ。LLMが成長し続ける中で、私たちの評価技術も追いついて、どこにいてもユーザーにとって重要な効果的な評価を提供できるようにしていくよ。