インドの言語での多言語言語モデルの評価

多言語の大規模言語モデル（LLM）の評価は、いろんな課題があって難しいんだ。多様なベンチマークが不足してたり、トレーニングに使われたベンチマークがあったり、翻訳されたベンチマークにローカルな文化の細部が欠けてたりするから。この研究では、人間とLLMが異なる言語や文化でモデルをどう評価するかを探ってる。10種類のインドの言語で30モデルをテストして、人間による評価を90,000回、LLMによる評価を30,000回実施したんだ。その結果、GPT-4oやLlama-3 70Bのようなモデルが大抵のインドの言語で良いパフォーマンスを示したよ。

#評価プロセス

私たちの評価プロセスはいくつかのステップで構成されてる。まず、ネイティブスピーカーからの意見を元に、さまざまな評価プロンプトを集めた。次に、選ばれたモデルからこれらのプロンプトに対する応答を生成した。三つ目には、生成された応答を人間の評価者とLLMの両方で、直接評価とペアワイズ比較の2つの方法で評価した。最後に、得られたスコアを基にリーダーボードを作って、人間とLLMの評価者の間にどれだけ一致があったかを分析した。

#背景

大規模言語モデルは最近大きく進歩したけど、その能力を理解するのは難しいことがある。ベンチマークが、これらのモデルを評価する主な方法になってて、多くの有名なベンチマークが品質チェックに使われてる。しかし、標準的なベンチマークにはいくつかの問題がある。オンラインで見つけられる人気のベンチマークが、LLMのトレーニングデータに既に含まれてたりするから、公正な評価ができなくなっちゃう。これをテストデータセットの汚染って呼ぶけど、トレーニングやファインチューニングの際に起こることがある。人間の助けを借りたよりダイナミックな評価が必要だと思うけど、人間の評価は時間もかかるしコストも高いことがある。だから、LLMを評価者として使うことが人気になってきたんだ。

多くのLLMのトレーニングと評価に関する研究は英語に集中してる。最近の研究では、LLMは非英語の言語、特に異なる書き方のシステムやリソースが不足している言語に対してはパフォーマンスが低いことが示されてる。さらに、GPT-4のような主要なモデルは西洋の基準により近いことが多いんだ。これが、特定の言語や文化、地域に合わせたモデルの開発につながった。多言語評価の課題は、多言語ベンチマークの限られた可用性や、これらのベンチマーク内での言語的多様性の欠如、汚染のリスクに由来する。さらに、多くの多言語ベンチマークは英語のベンチマークの翻訳で、重要な文化的および言語的なコンテキストが失われちゃう。

#私たちの仕事

この研究では、私たちが知る限り、最大の多言語人間評価を実施したよ。10のインドの言語で90,000の評価を行ったんだ。一般的なトピックや文化的に特定の質問を表すために、ネイティブスピーカーによって独立に作られた新しいプロンプトのセットを使用した。さまざまな地域からの人間の評価者を雇って、特にインドの田舎や代表されていないコミュニティに焦点を当てたよ。

人間の評価に加えて、LLMを評価者としても使った。これは、人間とLLMの評価の合意をさらに調査して、安全性を評価するために、倫理的な考慮から人間の関与を制限する理由があったから。

#貢献

私たちの研究の主要な貢献は次のとおりだよ：

1. 文化的にニュアンスのあるデータセットを使用して、10のインドの言語で30のインド語および多言語モデルを評価し、90,000の人間評価を完了した。
2. 同じ評価をLLMを評価者として行い、人間とLLMの評価の一致度を分析できるようにした。
3. 人間とLLMの両方の評価に基づいたリーダーボードを作成し、異なる言語やモデルでのトレンドとバイアスを調査した。

#関連研究

多言語評価ベンチマークは、利用可能な多言語ベンチマークを使ってさまざまなモデルを評価しようとする。いくつかは、多言語をカバーする生成テストをリリースした。XGLUEとXTREMEなどの他のベンチマークも多言語のタスクに焦点を当てている。

インドのベンチマークに関しては、最初のインドのNLUベンチマークであるIndicGLUEが11の言語で発表され、その後22のインドの言語をカバーするように拡張された。その他のベンチマークは、インドの言語の機械翻訳や質問応答などのタスクを評価している。

人間の評価は、LLMを評価するためや、文化的にニュアンスのある評価プロンプトのゴールドスタンダードを作成するために、さまざまな研究で使用されてきた。LLM評価者は、指示に従う能力があるため、多くの研究で役立ってきたが、一部の研究では評価にバイアスがあることが示されている。最近の研究は、既存のベンチマークの限界を指摘し、言語モデルにおける文化的価値についての疑問を提起しながら、LLMの多言語評価の必要性を強調している。

#評価設定

10のインドの言語（ヒンディー語、タミル語、テルグ語、マラヤーラム語、カンナダ語、マラーティー語、オディア語、ベンガル語、グジャラート語、パンジャブ語）を評価した。プロンプトには、ネイティブスピーカーが作成した健康、財政、文化的にニュアンスのあるトピックをカバーする各言語あたり20の質問が含まれている。

いろんな人気のインド語モデルや主要な商用LLMを評価した。ほとんどのインドのLLMはオープンソースモデルのファインチューニングバージョンだから、インドデータでのパフォーマンスを評価するために、これらのモデルの指示バージョンも含めたよ。

オープンソースのモデルとAPIベースのシステムを比較することは、異なる要素が関与するため完全に公平ではないかもしれないってことに注意が必要だ。私たちは、研究の一貫性のためにすべてのモデルを平等に扱った。

#評価戦略

生成された応答の評価には、ペアワイズ比較と直接評価の2つの戦略を使った。ペアワイズ比較では、Elo評価システムを使って同じプロンプトに対するモデルの応答を比較し、そのパフォーマンスに基づいてモデルの順位を測った。

直接評価では、人間のアノテーターとLLMが、言語的受け入れ性、タスクの品質、幻覚の3つの基準に基づいて各クエリ-レスポンスペアを評価した。各モデルのランキングは、スコアリングシステムを通じて決定された。

#人間とLLMの評価者

人間の評価者はスマートフォンで作業し、プロンプトとそれに対応するモデルの応答をレビューした。どの応答が良いか、または両方の応答が同じくらい良いか悪いかを選ぶように求められた。

LLM評価者は似たような設定で、異なるプロンプト形式を使用した。両者の評価者には、応答のスコアリングを明確にするために詳細な指示が与えられた。

#合意分析

人間のアノテーションの質と人間とLLMの合意を評価するために、相互アノテーターの合意を評価した。評価の一貫性を測るために、パーセンテージ合意やFleiss Kappaスコアなどの指標を使用した。

人間とLLMの評価からのランキングをKendallのタウを使って比較して、両評価者間の合意のレベルを評価した。

#バイアス分析

私たちの分析では、位置バイアスや冗長性バイアスを含むさまざまなバイアスを探ってる。ペアワイズ比較で選択肢を反転させ、応答がどれだけ一貫しているかを測ることでバイアスを確認した。

私たちの調査では、評価中に選択肢を選ぶ際の有意なバイアスは見られなかった。しかし、LLMはより決定的で、どちらの応答にも問題があった場合でも、しばしば一方の応答を好む傾向があったよ。

#安全性評価

安全性分析のために、不適切な応答を引き出すために設計された特定のデータセットを使用し、さまざまなモデルからの出力をLLM評価者を使って評価した。これらの出力を事前に定義された問題のあるコンテンツをチェックするための用語リストと比較した。

#結果

評価の結果、より小さなインドのモデルが、基にしているオープンソースモデルよりもよくパフォーマンスを発揮することが多かった。GPT-4oのような大きなモデルが全体的に最高の性能を示したよ。

LLM評価者はペアワイズ評価では人間とよく合意してたけど、直接評価では特に文化的なニュアンスを含む応答に対しては一致が低かった。

#結論

この研究では、人間とLLMの評価者のスコアを組み合わせて、多言語のLLMの広範な評価を提供した。多言語評価における課題やバイアスを強調し、人間の視点を含むハイブリッド評価システムの必要性を訴えたよ。

我々の発見は、LLMが一般的なトレンドを捉えることができる一方で、文化的にニュアンスがある評価には苦労していることを示している。これは、異なる言語やコンテキストで言語モデルを評価する際に人間の入力が重要であることを示唆してるね。

#今後の作業

今後は、評価をさらに多くのインドの言語に拡大し、評価に使用するプロンプトの数を増やす予定だ。利用可能になったモデルもさらに取り入れるつもり。

また、評価におけるバイアスをさらに調査し、私たちの評価設定の堅牢性を向上させて、言語モデルの多言語パフォーマンスに関する包括的な理解を確保するつもりだよ。