モデルの整合性がグローバルな表現に与える影響

ユーザーが見るアプリケーションで大規模言語モデル（LLM）を使う前に、開発者はこれらのモデルをユーザーの好みに合うように調整するんだ。この調整には、人間のフィードバックからの強化学習（RLHF）や直接的な好みの最適化（DPO）みたいな方法が含まれる。現在の研究は、これらの方法がどれだけモデルが指示に従い、推論し、真実の情報を提供できるかに焦点を当てている。ただ、好みは人によって大きく異なるから、特定の好みにモデルを合わせることで予期しない問題が起こるかもしれない。

この記事では、LLMの調整がグローバルな表現において重要な3つの領域、つまり異なる英語の方言、複数言語の使用、そして世界各国の意見にどう影響するかを見ていくよ。調査結果は、現在の調整方法が特定の英語の方言や意見に偏見を生む可能性があることを示唆している。

最近、LLMベースのチャットアシスタントがすごく人気になってる。2023年12月には、ChatGPTが週に1億以上のユーザーを持っていて、別のモデルLlama-Chat-7Bは毎月100万回近くダウンロードされてた。これらのチャットモデルの成功は、基本モデルを指示に従いやすいものに変える調整プロセスに大きく依存しているんだ。

開発者は調整の変数をかなりコントロールできるから、重要な疑問が浮かぶ。誰がフィードバックを提供してるの？どんなプロンプトやタスクが関連してるの？誰が例のレスポンスを出してるの？これらの疑問は、どのユーザーにLLMを調整してるのか、そして大事なことに、誰の好みを見落としてるかを浮き彫りにする。現在の調整慣行におけるこの不明瞭さは、どのモデルの振る舞いが意図的な選択で、どれが意図しない偏見かを判断するのを難しくする。

例えば、ある報酬モデルは、英語を話す西洋諸国からのレスポンスに高いスコアを与え、中東やアフリカの国に関連したレスポンスには低いスコアを与える。この論文は、調整の設計決定がモデルのグローバルなオーディエンスに対する対応能力にどう影響するかを掘り下げている。この理解は、調整されたLLMの一般的な使用が世界中で受け入れられるかどうかを判断するのに重要だ。

チャットアシスタントのパフォーマンス評価は、推論、知識、マルチタスキング、真実性などに焦点を当ててるけど、今回は多様なグローバルユーザーベースにとって共通の領域、つまり異なる英語の方言、複数言語の使用、そしてグローバルな意見を見てみるよ。目標は、調整がこれらの領域でモデルのパフォーマンスにどう影響するかを見ること。

パフォーマンス評価は、調整が世界中のさまざまなユーザーグループとのインタラクションの仕方をどう変えるかを測定することを目指している。他の研究では、世界的な意見が言語モデルにどのように表現されているかを見てきたけど、その焦点は主にモデルの最終バージョンにあった。この研究では、基本的な言語モデルをユーザーと関わるモデルに変える過程全体を見て、2つの重要なステップ、つまり監視付きファインチューニング（SFT）と好みのチューニング（PT）に焦点を当ててる。調整の影響は、基本モデルとこれらの2つのチューニングフェーズの組み合わせから生まれる。

調査の応答を評価するだけでなく、この研究では調整プロセス全体で現れるさまざまなタスクのパフォーマンスのギャップも調べてる。これらの評価を合わせることで、調整手続きがLLMをより合意的で役立つものにできるかどうかを判断する手助けになる。

#グローバルな表現：英語の方言

最初に探るのは、モデルの調整が異なる英語の方言にどう影響するかだ。アメリカ、インド、ナイジェリアからの3つの英語を話すグループの会話意図を予測する際のモデルのパフォーマンスを評価するよ。

Multi-dialect Dataset of Dialogues（MD3）と呼ばれるデータセットを使って、異なる英語の方言を話す人々のタスク指向の会話を含めてる。この会話では、一人がヒントを出して、もう一人が特定の気を散らす言葉を使わずに「秘密の」言葉や「意図」を推測するのを助ける。推測が正しい場合だけを考慮して、言葉を推測できなかった会話は除外する。

結果は、効果的な調整手続きがこれらの3つの方言の話者間の会話におけるモデルのパフォーマンスを向上させることを示している。ただし、アメリカ英語のパフォーマンスは向上する一方で、方言間の格差も広がってしまう。調整前には、方言間のパフォーマンスのギャップは約1%だったが、調整後には17%以上に広がることもある。

この発見は、調整がモデルの能力を向上させる可能性がある一方で、異なる方言の理解度に格差を生むリスクもあることを示唆している。

#グローバルな表現：言語

次に、調整がモデルの複数言語の処理能力にどう影響するかを見ていくよ。多くのモデルは主に英語に焦点を当ててるけど、調整プロセス中に多言語のパフォーマンスがさまざまな言語タスクで著しく改善することがある。

Typologically Diverse Question Answering（TyDiQA）データセットを使用して、9つの異なる言語にわたる調整モデルの能力を評価する。このデータセットには、アラビア語からテルグ語までの多様な質問や文章が含まれてる。私たちの発見は、多くのモデルが調整後に明らかなパフォーマンス向上を示すこと、特に特定の答えを抜き出すタスクにおいて顕著であることを示している。

興味深いのは、主に英語で機能するモデルを作成することが目標でも、ファインチューニングプロセスで使われるデータには意外と他の言語が良い割合で混ざってることだ。これは、ほんの少しの多言語データでも、モデルが異なる言語でのパフォーマンスを向上させるのに役立つことを示唆している。

#グローバルな表現：意見

最後に評価するのは、LLMがさまざまな国の意見をどれだけ反映しているかだ。GlobalOpinionsQAと呼ばれるデータセットを使用して、多くの質問や答えが含まれる調査データを使って、政治、メディア、テクノロジーなど広範囲なトピックに関する内容をカバーしてる。

言語モデルのレスポンスを異なる国からの平均レスポンスと比較することで、どのモデルが特定の国、特にアメリカの意見により密接に aline しているかを見ることができる。どうやら、調整されたモデルはアメリカの意見に強く同意する傾向があり、ヨルダン、中国、ナイジェリアなどの他の地域の意見と比べるとその傾向が顕著だ。

結果は、アメリカの意見に対する明確な偏見を示していて、重要な倫理的疑問を提起する。調整がモデルのパフォーマンスを向上させる助けになる一方で、意図せず西洋以外の国々の代表性が欠けてしまう可能性がある。

#報酬モデルの洞察

さまざまな国についてのモデルの意見をさらに掘り下げるために、Starling 7B Reward Modelを調べた。国ごとの質問セットでこのモデルを調べた結果、ユーザーの認識に基づいて異なる国をどのようにランク付けしているかがわかった。

結果は、Starlingモデルの好みとアメリカ市民の意見との強い相関を示している。モデルからのランクをアメリカの調査結果と比較すると、高い一致度が見られる。これは、西洋の好みがモデルの振る舞いに大きく影響していることを示唆している。

興味深いことに、分布外の設定を詳しく見てみると、報酬モデルがモデルがあまりなじみのないトピックについての意見にどうアラインするかにあまり影響を与えないようだ。これは、報酬モデルが好みについての洞察を提供できる一方で、言語モデルが訓練データ以外の国や問題をどう見ているかには必ずしも影響しないことを意味している。

#討論と推奨事項

これらの発見に基づいて、LLMの調整に関わる人々への重要な提言をいくつか提案するよ。

#調整プロセスの透明性

言語モデルの調整プロセスは、一括での解決策として扱うことができない。このプロセスが異なるグループにさまざまな影響を与えるから、調整時に行われる決定について透明性を持つことが不可欠だ。誰がフィードバックを提供しているのか、どのプロンプトが使われているのか、どのようにレスポンスが評価されているのかの詳細を開示することが重要だ。これによって、モデルの調整が責任を持ち多様性を考慮したものになることを確保できる。

#少量の多言語データが有益かも

興味深いのは、少しの多言語データでもモデルがいくつかの言語でパフォーマンスを大幅に向上させる可能性があるということ。例えば、Tüluのデータセットは約13%が非英語であり、テストされた9つの言語のうち6つでパフォーマンスが向上する。このことは、多様な言語が含まれることで、英語のパフォーマンスを犠牲にすることなくモデルの全体的な能力を高められることを示している。

#報酬モデルに過度に依存しない

最後に、報酬モデルは好みについての有用な洞察を提供するけど、その限界を認識することが重要だ。国々についての意見を調べる際に、こうしたモデルが必ずしも言語モデルに意義ある影響を与えないことがある。つまり、元の訓練データの選択やファインチューニングプロセスで提示されたタスクの種類が、報酬モデルよりもモデルの振る舞いにずっと大きな影響を与えるということだ。

#結論

この分析は、LLMの調整がグローバルな表現に影響を与える3つの重要な領域、つまり英語の方言、複数言語、そしてグローバルな意見を強調している。調整プロセス中に行われるさまざまな設計選択が、特定の英語の方言に対する偏見や、非西洋の視点が欠けるような意図しない結果を生むことがある。

これらの要因を注意深く考慮し、議論した推奨事項を実施することで、開発者は多様なグローバルオーディエンスにサービスを提供するより公平で代表的な言語モデルを作ることができる。これらの技術が進化し続ける中で、透明性や包括性、そして調整プロセスが世界のユーザーに与える潜在的な影響に焦点を当てることが重要だ。