多様な人間の価値観にAIシステムを合わせる

AIシステムが世界中で一般的になっていく中で、これらのシステムが人間の価値観にどのように合致するかが大きな懸念となっている。そこで重要な問いが浮かび上がる：何に合致するのか？ ほとんどの研究は英語に重点を置いており、世界中の多様な言語や文化を無視している。西洋のデータで主に訓練されたAIモデルが、英語以外の話者が直面しているニーズや問題に対処しないリスクがある。この文章では、多様な人間の好みと調和させるための方法を議論し、害を減らすことについて触れる。

#多言語の調整の課題

AIシステムは、多言語に対処する際にしばしば困難な状況に直面する。主な問題の一つは、訓練に必要なデータが不足していることだ。モデルが英語で訓練されると、文化的なコンテキストやニュアンスが異なるため、他の言語でうまく機能しないことがある。これにより、英語以外のユーザーにとってリスクや安全性の懸念が高まる。AIモデルが言語と文化の好みの多様性をどのように管理するかを改善する必要があるのは明らかだ。

#異なる文脈における害の理解

害は文化によって大きく異なることがある。普遍的に有害とされるコンテンツもあれば、特定の文化内でのみ有害とされるものもある。たとえば、ある言語でネガティブな意味合いを持つ用語やフレーズは、別の言語では同じような効果を持たないことがある。私たちの目標は、AIの訓練の際に、文化の違いを尊重しながらも、グローバルとローカルの害の両方に取り組むことだ。

#Aya Red-teamingデータセット

これらの問題に対処するために、私たちは Aya Red-teamingデータセットを作成した。これは、複数の言語で有害なプロンプトを含んでいる。このプロンプトは、ネイティブスピーカーから収集し、彼らの言語におけるさまざまな形の害についての洞察を提供してもらった。このデータセットは、英語、ヒンディー語、フランス語、スペイン語など、8つの言語をカバーしている。グローバルな害とローカルな害を区別することで、私たちは文化を越えて有害なコンテンツにAIモデルがどのように対応するかを改善しようとしている。

#データ収集方法

Aya Red-teamingデータセットは、ネイティブスピーカーの協力を得て、さまざまなカテゴリの害に関するプロンプトを注意深く作成することで構築された。各言語で約900のプロンプトを収集し、それらの英語訳も集めた。これらのプロンプトは、その文脈や文化的な重要性に基づいて、グローバルな害またはローカルな害として分類された。

グローバルな害は、文化的コンテキストに関わらず有害と広く認識されているコンテンツを指す。たとえば、自殺の手段を尋ねるプロンプトは、グローバルに有害と見なされる。一方、ローカルな害は、特定の文化的または歴史的な文脈をより深く理解する必要がある。たとえば、特定の民族グループをターゲットにした質問は、特定の文化的な文脈内でのみ有害かもしれない。

#好みデータの生成

人間が注釈を付けたデータは貴重だが、AIモデルを効果的に訓練するには十分ではない。このギャップに対処するため、追加のデータポイントを生成する必要があった。これを実現するために、既存の有害なプロンプトを用いて新しいバリエーションを作成する合成データ生成を行い、モデルの訓練用に十分な量を確保した。

私たちは、マルチリンガルなAIモデルを使用して、元のデータセットに基づいてプロンプトを言い換えたり、代替プロンプトを生成した。このアプローチにより、データセットを拡大し、モデルの訓練プロセスを改善することができた。

#調整技術の評価

異なる調整技術がどのように機能するかを評価するために、さまざまなアプローチを用いて実験を行った。試した方法の一つは、特定のデータを使用してモデルをより安全で整合性のある行動に微調整する「監視付きファインチューニング（SFT）」だった。また、もう一つの方法である「直接好み最適化（DPO）」は、人間の好みに基づいてAIの性能を最適化することを目的としている。

これらの実験を通じて、一般的な性能と安全性のバランスを取ることを目指した。言語特有の問題に焦点を当てた調整技術が、多言語環境での有害な行動に効果的に対処できるかどうかを確認することが重要だった。

#データの混合の影響

実験では、安全データと一般目的データの異なる混合をテストし、実世界のシナリオをシミュレートした。たとえば、ある設定では100%の安全データを使用し、別の設定ではより現実的な15%の安全混合を採用した。これらのバリエーションがモデルの性能と安全性にどのように影響するかを調べるのが目的だった。

#データ混合の結果

結果は、安全データと一般目的データの混合で訓練されたモデルが安全性のパフォーマンスで大きな改善を示したことを示している。実際、モデルは多様な有害プロンプトにさらされた際に、有害な出力が著しく減少した。

#トレードオフの探求

実験は、安全性と一般的な性能の間のトレードオフを明らかにした。驚くべきことに、安全性を最適化することでモデルの一般的な能力が必ずしも損なわれるわけではないことがわかった。実際、特定の技術であるDPOは、安全性とオープンエンドの生成能力を同時に向上させる可能性があることを示した。

#言語特有の洞察

さまざまな言語でポジティブな結果が得られ、害軽減戦略が使用される言語に関係なく効果的であることが強調された。特にヒンディー語やアラビア語では大きな改善が見られた一方、フランス語ではそれほど顕著な向上は見られなかった。

この発見は、AIモデルが文化的にリッチなデータセットで訓練されるほど効果的になり、地域のニュアンスを理解することの重要性が強調される。今後の研究は、より広範囲な言語と文化的文脈を含むようデータセットを拡張することに焦点を当てるべきだ。

#グローバルとローカルの害の軽減

私たちの主要な研究課題の一つは、グローバルとローカルの害を別々に扱うことが有益かどうかだった。結果として、両方のタイプの害に取り組むことで、効果的な軽減に役立つ貴重な洞察が得られた。

また、モデルをグローバルな害のみに基づいて訓練することで、ローカルな害を減らすことができるかどうかを調べる実験も行った。その結果、ローカルな害のみに基づいて訓練されたモデルが、グローバルな害の軽減にも改善を示すことがわかった。

#モデル性能の評価

私たちの発見を検証するために、出力をLLM（大規模言語モデル）で比較した。これにより、モデルが安全なコンテンツを生成する際の性能を測定することができた。

LLM評価に加え、ネイティブスピーカーにも人間による評価を依頼し、有害コンテンツの現実的な理解と一致することを確認した。この二重アプローチにより、結果の精度が強化された。

#文化に配慮したアプローチの重要性

文化に配慮した戦略は、効果的なAIシステムを開発するために重要だ。異なる文化的文脈を理解し尊重することで、安全で調和の取れたAIモデルを作成できる。これは、言語や文化がAIの行動にどのように影響するかについての継続的な研究の必要性を強調する。

私たちの仕事は、AIの調整が一様なものではなく、さまざまな人口の独自の特性やニーズを考慮する必要があることを思い出させる。効果的な害軽減に必要な具体的な例を特定するためには、さらなる研究が必要だ。

#結論

安全で調和の取れたAIシステムを実現するための道のりは続いている。Aya Red-teamingデータセットを作成し、さまざまな調整技術を試すことで、多言語の安全調整に関する貴重な洞察が得られた。

グローバルとローカルの害の両方に取り組むことで、多様な人口によりよく対応するAIシステムを創造するための重要なステップを踏んでいる。この研究が、より包括的で敬意を持ったテクノロジーのための多言語AI安全の分野におけるさらなる研究や開発を促進することを期待している。