AIフィードバックのための堅牢な報酬モデリング
腐敗したフィードバックを使ってAIの人間の価値観との整合性を向上させる新しい方法。
― 1 分で読む
人工知能（AI）が進化するにつれて、それが人間の価値観や好みに合っていることを確保するのがすごく大事になってくるよね。そのための一つの方法が「人間のフィードバックからの強化学習」（RLHF）って呼ばれる方法なんだ。この方法は、人間からのフィードバックや好みに基づいてAIシステムをトレーニングするんだ。
でも、RLHFには課題があるんだ。人間が提供するフィードバックは不確実で、時には間違ってることもある。人間の評価者がいろんな理由で一貫性のない、あるいは間違った好みのラベルをつけることもあるんだ。たとえば、家庭のタスクを手伝うロボットシステムをトレーニングするときに、訓練を受けてない人が効率的だけど危険な行動を好ましいとラベル付けすることがあって、安全に運用することの重要性を無視してしまうことがある。
中には、個人的なバイアスやシステムの目標への理解不足から、わざと間違ったラベルを提供する評価者もいるんだ。これってAIが人間の望む行動とずれた学習をしてしまう原因になることがあって、特にソーシャルメディアのコンテンツモデレーションみたいなシナリオでは、間違ったラベルが有害なコンテンツを広める危険性があるんだ。
そこで、私たちは間違った好みのラベルを扱える新しいアプローチ、「RLHFのためのロバスト報酬モデリング」を提案するよ。この方法は、潜在的に間違ったラベルを外れ値として扱って、それに効果的に対処できる学習問題を定式化するんだ。
人間のフィードバックの汚染問題
標準的なRLHFでは、人間のフィードバックがどんなふうに見えるべきか、一定の理解を仮定してるんだ。いろんな行動や結果について人間から好みのデータを集めるんだけど、そのデータが汚染されちゃうと-つまり、間違ったラベルが含まれていると-正しい好みを学ぶのが難しくなっちゃう。
私たちは、ラベルの一部だけが間違っていると仮定して、Bradley-Terryモデルの修正バージョンを使ってこの問題をモデル化するよ。この方法で、好みの潜在的な汚染を考慮した要因を導入して、外れ値ラベルの影響を特定し最小化しながら、正しい報酬モデルを学ぼうとしているんだ。
私たちのアプローチ
私たちが提案する方法は、汚染されたラベルを効果的に扱えるんだ。人間のフィードバックから正しい報酬を学びつつ、どのラベルが間違っているかを特定するシステムを構築するよ。これは、好みだけでなく、その好みにおける潜在的な汚染も考慮に入れた特定の数学的関数を最大化することで実現するんだ。
効率的な学習アルゴリズム
私たちの方法がうまく機能するように、報酬モデルと摂動要因を更新するアルゴリズムを開発したよ。これによって、ラベル付けの潜在的なミスも考慮しながら、報酬がどうあるべきかを更新できるんだ。
私たちのアプローチの一番の魅力は、間違ったラベルを特定するために必要な追加の計算作業が、従来のRLHF方法に比べてかなり低いってことなんだ。
実験的検証
私たちは、ロボット制御タスクや自然言語生成タスク（要約や対話など）でこの方法を試したんだ。フィードバックデータにノイズがたくさんあるときでも、私たちのアプローチは伝統的な方法より常に優れていることがわかったよ。
ロボット制御タスク
ロボット制御の実験では、さまざまなタイプのノイズのもとで私たちの方法がうまく機能するかどうかを評価したよ。ラベルのランダムな反転、短期的な好み、非合理的なミスの3つのタイプのノイズをテストしたんだ。私たちの方法は、すべてのタスクとノイズモデルで標準的な方法を大きく上回り、さまざまな汚染されたフィードバックに対してのロバスト性を証明したよ。
ロボットタスクのパフォーマンスは、AIがどれだけうまく機能したかを示す正規化リターンを見て測定したんだ。結果として、私たちの方法はベースラインの方法に比べて高いリターンを得ることに成功したってことがわかった、特に高いノイズ率のもとでね。
自然言語生成タスク
自然言語生成タスクでは、要約と単発対話タスクに私たちのロバストな方法を適用したよ。人間のフィードバックを使ってモデルをトレーニングした後、従来のRLHF技術を含むいくつかのベースライン方法と比較したんだ。
このタスクでも、私たちの方法はまたしてもベースラインを上回ったよ。使用したデータセットには少しのノイジーな好みが含まれていることも強調したんだ。私たちのアプローチは、そのノイジーな好みの悪影響を効果的に軽減することができたんだ。
結論
AIシステムが進化するにつれて、それが人間の価値観に合ったものになることを確保するのがますます重要になってくるよね。私たちが提案する「RLHFのためのロバスト報酬モデリング」は、汚染された人間のフィードバックを扱う上での従来のRLHFアプローチが直面する課題に対する実行可能な解決策を提供しているよ。
ロボット制御と自然言語生成タスクにおける厳密な実験を通じて、私たちのアプローチは学習した報酬モデルのロバスト性を高めるだけでなく、実際のシナリオにおけるAIシステムの全体的なパフォーマンスを向上させることも示したんだ。
人間のラベリングにおける潜在的なミスを考慮することで、私たちは人間の好みをよりよく理解し、調和する信頼できる責任あるAIシステムの構築に向けた道を切り開くことができるんだ。
要するに、私たちの研究は現在の文献における重要なギャップに対処し、安全で効果的なAIの未来に向けての意味のある一歩を提供するものなんだ。
タイトル: Robust Reinforcement Learning from Corrupted Human Feedback
概要: Reinforcement learning from human feedback (RLHF) provides a principled framework for aligning AI systems with human preference data. For various reasons, e.g., personal bias, context ambiguity, lack of training, etc, human annotators may give incorrect or inconsistent preference labels. To tackle this challenge, we propose a robust RLHF approach -- $R^3M$, which models the potentially corrupted preference label as sparse outliers. Accordingly, we formulate the robust reward learning as an $\ell_1$-regularized maximum likelihood estimation problem. Computationally, we develop an efficient alternating optimization algorithm, which only incurs negligible computational overhead compared with the standard RLHF approach. Theoretically, we prove that under proper regularity conditions, $R^3M$ can consistently learn the underlying reward and identify outliers, provided that the number of outlier labels scales sublinearly with the preference sample size. Furthermore, we remark that $R^3M$ is versatile and can be extended to various preference optimization methods, including direct preference optimization (DPO). Our experiments on robotic control and natural language generation with large language models (LLMs) show that $R^3M$ improves robustness of the reward against several types of perturbations to the preference data.
著者: Alexander Bukharin, Ilgee Hong, Haoming Jiang, Zichong Li, Qingru Zhang, Zixuan Zhang, Tuo Zhao
最終更新: 2024-07-09 00:00:00
言語: English
ソースURL: https://arxiv.org/abs/2406.15568
ソースPDF: https://arxiv.org/pdf/2406.15568
ライセンス: https://creativecommons.org/licenses/by/4.0/
変更点: この要約はAIの助けを借りて作成されており、不正確な場合があります。正確な情報については、ここにリンクされている元のソース文書を参照してください。
オープンアクセスの相互運用性を利用させていただいた arxiv に感謝します。