ロールプレイング言語モデル評価の新しいベンチマーク

新しい方法で言語モデルのロールプレイシナリオでの活躍をテストしようとしてるんだ。これにより、モデルがユーザーを模倣して複数のやり取りをする会話を行えるようになって、もっとダイナミックになるよ。フレームワークは三つの主要な部分から成り立っている：キャラクター役を演じるプレイヤーモデル、ユーザーのように振る舞うインタロゲーターモデル、会話の質を評価するジャッジモデル。自動評価と実際の人間評価を比較するテストを行った結果、我々の方法がうまく機能することが分かった。この研究は、モデルがインタラクティブな状況でどれだけうまく働くかを評価するためのしっかりした土台となる。

言語モデルは自然言語処理の最前線にいて、ChatGPTのような進化系が会話でのスキルを証明している。

#ベンチマークの概要

言語モデルの会話能力を判断する最良の方法は直接のやり取りだと思ってる。しかし、実際の人は新しいモデルをテストする時間がないことが多いし、既存のベンチマークは一回だけのインタラクションにしか焦点を当ててない。これらの伝統的なベンチマークは、テストデータがトレーニングデータと混ざっていることで信頼性を失ってきている。我々の論文では、言語モデルを使用してより長いロールプレイ会話をシミュレートし、自動的に生成された対話を評価することを提案している。

我々の方法は三つの主要な部分から成り立っている：キャラクター役を担うプレイヤーモデル、ユーザーの行動を模倣するインタロゲーターモデル、会話の質を測るジャッジモデル。

#研究の貢献

• 大規模言語モデル（LLM）がロールプレイできる能力をチェックするための柔軟なベンチマークを提案。
• 複数のモデルを同時に評価するシステムを使うことで、単一モデルからのバイアスを最小限に。
• 人間の評価と比較することで、ベンチマークの妥当性を検証。

結果やプロンプト、スクリプトはオンラインで見つけられるよ。このベンチマークは英語とロシア語の両方に対応している。

#関連研究

#自動評価

LLM-as-a-Judgeという方法があって、強力な言語モデルを使ってパフォーマンスを評価するんだ。AlpacaEvalやBiGGen Benchなど、このアプローチを採用した注目のベンチマークがある。これらは人間の評価と密接に一致しているのが強みだけど、ジャッジとして単一モデルを使っているからバイアスが入ることもある。

#マルチターンベンチマーク

言語モデルのほとんどのベンチマークは一回だけのやり取りに限られていて、実際の使用を反映してない。いくつかのマルチターンベンチマークもあるけど、特定のスキルに焦点を当てていて評価方法が一般的なモデルの評価と異なることも。

#データ汚染

既存の公開ベンチマークの大きな問題は、テストデータがモデルのトレーニングデータに漏れ出すこと。多くのテストがオンラインで保存されているから、これを避けるのは難しい。完全にベンチマークを閉じるのも一つの解決策だけど、主催者への信頼が必要でそれが難しいことも。新しいデータでベンチマークを更新したり、モデルを使って動的に生成する方法もある。

#ロールプレイ能力

言語モデルのロールプレイ能力に関する研究が進んでいて、Character.aiやChaiのような商業サービスもこれを活用してる。オープンリソースで同様のシステムを作ろうとする学術的な努力もあって、PIPPAやChatHaruhiなどがある。

#ロールプレイ評価

ECHOやPersonaGymなど、ロールプレイスキルを評価する既存のベンチマークがいくつかある。PersonaGymは我々の研究と似ていて、コンテキストと演じるキャラクターに基づいて質問を生成する。もう一つの関連研究RPBench-Autoも我々の構造に似ていて、モデルをベースラインと並べて比較する。

#マルチモデル評価

PoLLの著者たちは、我々のアプローチに似た方法で様々な言語モデルからの評価を集めている。その結果、複数のモデルを使った評価が人間の評価との相関を高めることを示唆している。

#役割の定義

我々のセットアップには、プレイヤー、インタロゲーター、ジャッジという三つの主要な役割があって、チューリングテストにインスパイアされてる。ただ、我々の方法にはプレイヤーの数、目標、インタロゲーターとジャッジの使い方に関していくつかの違いがある。

1. プレイヤー： キャラクターシートに基づいて特定のキャラクターを演じる。
2. インタロゲーター： 状況や目標に向かってユーザーのように振る舞う。
3. ジャッジ： セットされた基準に基づいてプレイヤーの応答を評価する。

役割はシステムとユーザーのプロンプトの混合で割り当てられる。特定のプロンプトがないシステムでは、全てのガイダンスがユーザープロンプトに提供される。

このセットアップは意図的に非対称で、典型的なロールプレイモデルの使い方も非対称だから。ただ、プレイヤーとインタロゲーターにキャラクターの説明を与えることで対称に調整することもできる。

#スコアリングシステム

一例のスコアリングアプローチを使っていて、参照例やペアは使わない。ジャッジは三つの主要な基準に基づいて応答を確認する：

• キャラクターの一貫性： プレイヤーの応答がキャラクターの説明にどれだけ合致しているか。
• エンターテイメントバリュー： 応答がどれだけ魅力的でエンターテイニングであるか。
• 言語の流暢さ： 使用された言語の質、エラーがないことを確認。

プレイヤーが応答を拒否するかどうかも確認する。モデルには、スコアを決定する前に会話からの引用を使って説明を求める。

#メソドロジー

#バージョン1：インタロゲーターとジャッジの統合

最初のバージョンでは、インタロゲーターとジャッジの役割が統合されていた。このモデルは、プレイヤーのキャラクターシート、状況のコンテキスト、評価基準を受け取り、プレイヤーの最新の応答を評価しつつ次のユーザーメッセージを生成した。

この役割には、その創造的なタスクでのパフォーマンスに基づいてclaude-3-5-sonnetモデルを選んだ。各基準は10ポイントスケールで評価された。

#バージョン2：役割の分離とマルチモデル評価

第一バージョンの限界を認識して、インタロゲーターとジャッジの役割を分離した第二バージョンを作った。これにより、主要な問題に対処した：

• リアルなユーザーエミュレーション： ユーザーはキャラクター情報を完全に持っていないことが多いから、インタロゲーターには詳細を与えない。
• コスト効率： 簡単なタスクのインタロゲーターには、より安価なモデルを使える。
• カスタマイズされたデコーディング戦略： 各役割に対して異なる戦略を適用してパフォーマンスを最適化する。

複数のモデルを使った評価が精度を向上させることが分かった。このセットアップでは、Claude 3.5 SonnetとGPT-4oをジャッジとして、GPT-4o Miniをインタロゲーターとして使用した。

このバージョンは5ポイントリッカートスケールを使っていて、人間の評価と合わせやすくなってる。

#人間の注釈との相関

提案したジャッジが人間の評価とよく一致することを確認した。ロシア語の各モデルについて64の会話を作成し、英語とロシア語でそれぞれ250と265のケースをサンプリングして手動で評価した。この作業は一人の注釈者によって行われたので、複数の注釈者間の一致については報告していない。

自動評価と人間の評価の間のスピアマン相関を、異なるセットアップに基づいて計算した。この相関手法は、バージョンによってスケールが異なるために選ばれた。

評価プロセスは効率的で、モデルあたり$3未満のコストで、ジャッジが詳細に応答を評価しても大丈夫だった。ジャッジは毎ターン注釈を付けるから、注釈の総数は64を超える。サイズを抑えて時間とコストを管理することを目指した。

キャラクターやシナリオを選ぶ際、ゲームやテレビシリーズ、映画、本など様々なソースを代表することを目指した。

言語モデルも人間もより長い出力を好む傾向がある。これに対処するために長さペナルティを使って、プレイヤーのメッセージの長さを考慮したスコアを算出した。

異なるバージョンのスピアマン相関スコアはそれぞれのテーブルに記載されていて、ほとんどの基準でバージョン間の相関が0.3を超えていることが示されている。

唯一の目立った例外は英語の言語流暢さスコアで、注釈者の非ネイティブな状態が理由かもしれない。ほとんどのモデルはこの領域で良いパフォーマンスを示したが、ロシア語の結果が特に強かった。

二つのモデルのスコアを平均した結果、両言語で相関が0.64を超え、どの単一モデルのスコアよりも良好だった。これが我々のマルチモデルアプローチの効果を確認することになった。

#制限事項

この研究は言語モデルを評価する新しい方法を導入しているけど、いくつかの制限もある。モデルごとのサンプルサイズが64会話と少なく、結果の強度に影響するかもしれない。一人の人間の注釈者に依存することはデータの信頼性に疑問を投げかける。さらに、我々の評価基準がロールプレイスキルの全ての複雑さを捉えられないかもしれない。

それでも、我々はこの研究が今後のベンチマークの基盤となり、言語モデルの異なる能力を評価する手助けになると期待している。モデル同士のインタラクションが評価の未来にあると信じていて、彼らがすでに多くのタスクで優れていて、コラボレーションを通じてさらに改善できると考えている。

#謝辞

プロジェクトへの貢献に感謝したいのはVladislav Janvarevと、校正をしてくれたDenis Kanaev。

#リーダーボード

ロシア語と英語のモデルに基づいて、長さ正規化スコアに基づくリーダーボードを提供しているよ。

#サンプリングパラメータ

ほとんどのプレイヤーに対して似たサンプリングパラメータを使っていて、特定のモデルには必要に応じて調整している。

キャラクターと状況の説明の詳細な例も提供されている。

#結論

この記事は、ロールプレイ言語モデルを評価するための新しいベンチマークについての我々の研究を概説している。ユーザーのエミュレーションと厳格な評価基準を統合することで、評価プロセスを改善し、ダイナミックな会話でのより良い対話を可能にすることを目指してる。