特徴ベースのクエリを通じて選好学習を改善する
特徴レベルの比較を使った、好みを理解するための新しい方法。
― 1 分で読む
人間はよく社会的な手がかりを使って、好きなものや嫌いなものを表現するよね。これによって、彼らの好みがわかるんだけど、これを「報酬関数」と考えることもできる。この好みは、意思決定に影響を与えるんだけど、今の方法だと人からこの好みデータを集めるときに、社会的学習の文脈を見落としがちなんだ。
この研究では、どうやって誰かがある選択肢を他の選択肢よりも好む理由をもっとうまく集められるかを見ていくよ。具体的に、これらの好みに影響を与える特徴について学べるような質問をしたいと思ってる。ただ「どっちがいい？」って聞くだけじゃなくて、その選択肢のどんな特性が重要なのかも知りたいんだ。
そのために、具体例についてのはい/いいえスタイルの質問と、その例の特徴についての質問を組み合わせた新しい質問方法を提案するよ。詳しい情報をもとに、みんながどんな報酬を求めているかをもっと正確に理解するために使うんだ。
人間のフィードバックの重要性
人が何を求めているかを学ぶことで、ロボットをより良く動かしたり、安全なソフトウェアを作ったりすることができるよ。伝統的な方法は、2つの選択肢の間で選ばせることが多いけど、貴重な洞察を見落とすことがあるんだ。例えば、誰かがあるキノコを別のものよりも好む理由が、その味かもしれないけど、その重要な詳細がしばしば失われてしまう。
人それぞれ、何が良い選択肢かについての考え方が違うんだ。例えば、シェフは味に注目するかもしれないし、コレクターは見た目を重視するかもしれない。この多様な好みは、各個人が大切にする特性のユニークなセットを持っていることを意味するんだ。
人を単なるラベル提供者として見るのではなく、学習教材を提供する教師として見ると、彼らの好みについてもっと豊かな情報を集められるよ。この視点で、アルゴリズムのためのより良い学習モデルを作ることができるんだ。
新しいアプローチたる好み学習
我々は、特徴レベルの比較と例レベルの比較に焦点を当てた好みを集めるための枠組みを提案するよ。私たちのアプローチは、2つのメインアイデアに基づいているんだ：
特徴レベルの比較：どの例が好まれるかだけを聞くのではなく、特定の特性を比較してもらうことができるよ。例えば、「キノコAがキノコBよりも良い？」って聞くだけじゃなくて、「キノコAの色とサイズ、どっちが好き？」って聞いてみる。
実用的なデータ増強：ユーザーが好みについて教えてくれたら、どの特性に興味がないかも学べるよ。これによって新しいデータポイントを作り出し、トレーニングデータセットを拡張してモデルをさらに洗練させることができるんだ。
アプローチのテスト
新しい方法がうまくいくか試すために、キノコ採集のタスクとフライト予約のタスクの2つの分野で実験を行ったよ。特に、特徴レベルの質問が、少ない例で人々の報酬を正確に定義するのにどれほど効果的かを見たかったんだ。
キノコ採集タスク
キノコ採集のタスクでは、キノコは色、匂い、サイズなどの異なる特性で定義されてた。参加者にキノコの間でさまざまな比較をしてもらうことで、好みを示すいろんな方法を作ったよ。
参加者は、私たちの方法を使って効果的に自分の好みを説明できることに安心してた。結果を見たら、特徴レベルの質問が従来の例だけの比較よりも少ないステップで人々の好みをより正確に理解するのに役立ったんだ。
航空券予約タスク
次はフライトの予約に注目したよ。こちらは視覚的な比較ではなく、価格、到着時間、ストップの数などの異なる特徴に基づいてた。我々は本物のユーザーのインプットを使って、私たちの枠組みがより複雑な言語的説明にどれだけ対応できるかを見たんだ。
完璧ではない、あまり構造化されていないフィードバックでも、私たちの方法はユーザーの好みを理解するのにうまく機能した。特に、人々が気にする特性に結びつけたときにその強さが示されたよ。
ユーザー調査
私たちはまた、我々の新しい特徴クエリの労力を従来のペア比較と比較するためのユーザー調査も行ったんだ。参加者はキノコ採集者の役割を担当して、以前の実験と同じ報酬関数を使った。
調査中、参加者にキノコの例や特定の特徴に関する好みについていくつか質問したよ。その後、作業に対する彼らの気持ちについてフィードバックを集めた。ユーザーは、私たちの方法が従来の方法より特に負担だとは感じていなかった。
結論
要するに、特徴ベースのクエリを通じて人々の好みを学ぶ新しい方法を探求したよ。ユーザーが自分の好みや大切にしている特性について言うことを考慮に入れることで、個々のニーズを反映したより良いモデルを作れるんだ。
このより深い理解は、さまざまな技術を改善するのに役立って、人間の欲求にもっと近づけることができる。将来的には、このプロセスをさらに強化して、ユーザーのインプットを使いながら正しい質問をする方法を探ることができるかもしれないね。
タイトル: Pragmatic Feature Preferences: Learning Reward-Relevant Preferences from Human Input
概要: Humans use social context to specify preferences over behaviors, i.e. their reward functions. Yet, algorithms for inferring reward models from preference data do not take this social learning view into account. Inspired by pragmatic human communication, we study how to extract fine-grained data regarding why an example is preferred that is useful for learning more accurate reward models. We propose to enrich binary preference queries to ask both (1) which features of a given example are preferable in addition to (2) comparisons between examples themselves. We derive an approach for learning from these feature-level preferences, both for cases where users specify which features are reward-relevant, and when users do not. We evaluate our approach on linear bandit settings in both vision- and language-based domains. Results support the efficiency of our approach in quickly converging to accurate rewards with fewer comparisons vs. example-only labels. Finally, we validate the real-world applicability with a behavioral experiment on a mushroom foraging task. Our findings suggest that incorporating pragmatic feature preferences is a promising approach for more efficient user-aligned reward learning.
著者: Andi Peng, Yuying Sun, Tianmin Shu, David Abel
最終更新: 2024-05-23 00:00:00
言語: English
ソースURL: https://arxiv.org/abs/2405.14769
ソースPDF: https://arxiv.org/pdf/2405.14769
ライセンス: https://creativecommons.org/licenses/by/4.0/
変更点: この要約はAIの助けを借りて作成されており、不正確な場合があります。正確な情報については、ここにリンクされている元のソース文書を参照してください。
オープンアクセスの相互運用性を利用させていただいた arxiv に感謝します。