言語モデルの判断におけるバイアス

最近、人間と大規模言語モデル（LLM）の両方を使ってLLMのパフォーマンスを評価することへの関心が高まってる。でも、このやり方は結果に影響を与えるバイアスを引き起こすことがある。私たちの研究は、人間のジャッジとLLMのバイアスを調べることを目指してる。

#研究質問

主な質問はこれ：オープンエンドな応答を評価する時、人間とLLMはどれくらいバイアスがあるの？これに答えるために、私たちはこのジャッジに関連する5種類のバイアスを調べる新しいフレームワークを作った。

#フレームワーク

私たちは、改訂版ブルームのタキソノミーに基づいて142のサンプルを集めて、人間とLLMの評価を行った。結果は、最も進んだモデルでも人間のジャッジとLLMの両方に有意なバイアスがあることが明らかになった。さらにテストを行って、これらの弱点を利用してみた。

#LLM評価の重要性

今、GPT-4やBard、Claudeみたいなモデルが色んな言語タスクで効果を発揮してるし、日常生活でも一般的なツールになってきてる。一方で、オープンソースコミュニティは、誰でも使える似たようなモデルの作成に取り組んでる。

LLMの進展に合わせて、多くのベンチマークが開発されてきた。これらのベンチマークは、オープンエンドとクローズドエンドの二種類に分けられる。クローズドエンドのベンチマークは便利だけど、データ汚染の問題があり、結果に影響を与えることがある。一方、オープンエンドのベンチマークは、意味のある応答を生成する能力に基づいているので、LLMを評価するのにはより現実的なシナリオを提供する。

#評価方法

オープンエンドの質問に対して人間のジャッジを使うのは一般的。こうした評価はLLMでも補完できるけど、人間とLLMの両方にあるバイアスがこの方法の妥当性を疑わせることがある。

これに関連して重要なフォローアップの質問がある：オープンエンドに生成されたコンテンツを評価する時、人間とLLMはどれくらいバイアスがあるの？これを調べるために、介入研究と観察研究を通じてデータを集めるつもりだ。

#現在の評価フレームワーク

ほとんどの既存のバイアス評価フレームワークは、ゴールドスタンダードに依存してる。これには人間の判断や事前に定義された正解が含まれることがある。でも、ゴールドスタンダードがないか、あいまいな場合もあるから、私たちはそんな基準なしでバイアス評価を行う新しいアプローチを提案する。

#サンプルデモ

実験のために、1つの質問と2つの無修正の回答からなるサンプルを作る。回答の修正バージョンを実験グループのために生成して、これらの応答を評価する際にバイアスがどう作用するかを分析する予定だ。

#貢献

私たちの仕事は3つの主要な貢献を目指してる：

1. 人間とLLMのジャッジにおける5種類のバイアスを探る新しいフレームワークを紹介する。このフレームワークは柔軟で、人間の参考や正しい答えなしでも動作できる。

2. 様々な種類の変動に対するジャッジの脆弱性を体系的に調査する。これらの弱点を利用して、どう操れるかも見てみる。

3. 既存のデータセットに対する詳細な代替を提供するオープンソースデータセットを共有することで、オープンエンドの評価の質を向上させる。

#重要な発見

私たちの研究からいくつかの重要な発見があった：

• 人間とLLMのジャッジはバイアスを示す。
• 人間のジャッジは様々な領域で有意なバイアスを示す。
• 異なるLLMは異なる種類のバイアスを示し、有利な評価のために操作できることがある。

#関連研究

#人間とLLM評価

人間のフィードバックは、自然言語生成（NLG）評価においてゴールドスタンダードと見なされてきた。モデルのパフォーマンスを向上させたり、出力の質の指標として機能する。LLMの台頭前には、BertScoreやGPTScoreみたいな様々なメトリックがNLGタスクを評価するのに広く使われた。

最近、強力なLLMがこの役割を引き継いで、従来の方法に代わって一般的になってる。

#人間とLLMジャッジのバイアス

研究によると、人間とLLMのジャッジはバイアスを持つことがある。人間のバイアスは主観的な意見から来ることが多く、再現性を低下させる。研究によって、人間の判断は様々な要因に影響されることが示唆されており、人間が最終的なスタンダードであるという考えに挑戦している。

LLMにもバイアスがあり、権威や冗長性のバイアスが含まれる。これにより、モデルが表面的な質を重視することになる場合がある。

#バイアスの特定

私たちの研究では、バイアス分析を行う上での課題を特定した。明確なゴールドスタンダードがないと、バイアスの有効な比較が難しくなる。さらに、制御された包括的な実験を確保するのが難しい。

バイアスを2種類に分類する：

1. 意味非依存バイアス：テキストの意味に関連しないバイアス、例えば冗長性や美しさのバイアス。

2. 意味関連バイアス：テキストの内容に関連するバイアス、例えば人種や性別に関するバイアス。

#実験プロトコル

私たちの実験手法、データ作成、手順、評価メトリック、評価したモデルについて詳述する。

介入と事後分析の両方を採用した。介入は特定の変数を操作してその効果を研究することを含み、事後分析は直接介入なしに既存の特性を観察する。

#データ生成

実験用のデータを作成するために、GPT-4を使って質問と回答を生成した。各質問はブルームのタキソノミーのレベルから作られ、中学校の知識に合っている。

すべての質問に対して、元の回答と修正された回答の2つを作成して、これらを人間とLLMのジャッジでテストする。

#実験オブジェクト

合計79人の大学生が人間のジャッジとして参加した。少数の代表モデルも評価して、ポジショナルバイアスが最小限に示されることを確認した。

#実験手順

ジャッジをコントロールグループと実験グループの2つに分けた。プロセスには、バイアスを減らすためにポジションをシャッフルしながら、各回答ペアの評価を複数回行う。

#メトリック

パフォーマンスを測定するために、Attack Successful Rate (ASR)などの複数のメトリックを使用して、ジャッジの変動に対する抵抗力を測る。

#実験結果

#誤謬見落としバイアス

結果は、異なるモデルと人間のジャッジが事実誤認を検出する能力に違いがあることを示している。GPT-4とPaLM-2が最も良かったけど、人間のジャッジとLLaMA2-70Bは弱点を見せた。

#権威バイアス

権威バイアスを調べたところ、PaLM-2が最も頑丈で、多くのモデル、特にGPT-4はこのバイアスに対して苦戦していた。

#美しさバイアス

視覚的に魅力的なコンテンツについては、Ernieが表面的な変化の影響を最も受けにくかった一方、Claude-2は最も影響を受けた。

#冗長性バイアス

分析の結果、人間のジャッジと様々なモデルが長い回答を好む傾向があり、回答の長さが増すにつれてその傾向が強くなった。

#ポジショナルバイアス

ほとんどの評価者はポジショナルな好みがあり、特定のモデルが他と比べて強いバイアスを示した。

#LLMジャッジの欺瞞

LLMジャッジの脆弱性に気づいた私たちは、修正を加えて魅力的にした弱い回答への反応を調べた。発見によると、権威バイアスがLLMが回答を評価する際に重要な役割を果たしていることが示唆された。

一連の比較を通じて、欠陥のある回答でも非意味的な要素を操作することで正しい回答よりも高く評価される可能性があることを示した。

#結論

私たちは、人間とLLMジャッジのバイアスを調査するための新しいフレームワークを開発した。私たちの発見は、両グループに有意なバイアスがあることを示していて、より良い評価方法が必要だということを強調している。私たちのデータセットを共有することで、評価のバイアスを理解し、対処するためのさらなる研究を促進することを目指している。