ユーザーフィードバックに合わせた言語モデルの適応

大規模言語モデル（LLM）の急速な成長は、さまざまな設定での使用を促進し、ユーザーの好みに基づいてモデルが動作を調整する必要性を浮き彫りにした。これらのモデルに入力を提供する一般的な方法は、高レベルの口頭フィードバックを通じて行われる。たとえば、ユーザーが上司向けのメールでは絵文字を使わないようにモデルに頼むことがある。この種のフィードバックを書くことは、トレーニングのための詳細なアノテーションを作成するよりも簡単だけど、フィードバックを単に与えるだけでは、モデルが不適切な文脈でそれを適用してしまうことがある。

この記事では、こうした過剰一般化を引き起こさずに口頭フィードバックを組み込む方法を調査する。過剰一般化とは、フィードバックが関連しない状況に適用され、望ましくない結果をもたらすことを意味する。この問題に対処するために、与えられたフィードバックに基づいて小規模な合成データセットを生成する新しい方法を提案する。このデータセットは、フィードバックがどのように適用されるべきか、また適用されるべきでない状況を反映している。このデータセットに基づいてモデルを微調整することで、フィードバックとは無関係な状況においてモデルの元の動作を維持することを目指す。

私たちの実験は、この新しい方法が関連する文脈に口頭フィードバックをうまく適用し、無関係な分野での変更を避けることができることを示している。結果は、私たちのアプローチが既存の方法と比較して過剰一般化を30％削減することを示唆している。

LLMがさまざまな業界で一般的になるにつれて、特定のユーザーの好みに合わせることが重要になる。ユーザーは、広範なルールでは捉えきれない微妙な要求を持っていることが多い。たとえば、一人のユーザーは仕事用には簡潔なメールを、プライベート用には詳細なメールを望むかもしれない。これらの好みに対応するのは難しいが、通常は異なる文脈で広範なデータを収集する必要があるからだ。また、ある文脈用にモデルを微調整すると、他の文脈でのパフォーマンスに影響を与えることがある。

この分野の研究は、多くの場合、高レベルの口頭フィードバックを用いてLLMをどのように適応させるかに焦点を当てている。初期の方法は、モデルを正しく更新するのに苦労し、フィードバックに応じられなかったり、不適切に適用されたりすることがあった。監視付きコンテキスト蒸留や人間のフィードバックからの強化学習などの一般的な手法は、ユーザーが提供したデータセットに依存している。しかし、これらの方法では、十分なデータを集めるために多くの努力が必要であり、意図しないモデルの動作の変化を必ずしも防げるわけではない。

フィードバックをプロンプトに直接統合するのも面倒な場合がある。特にフィードバックが増えると、特定の文脈でどのフィードバックが適用されるかを判断するのが難しくなる。

私たちの目標は、LLMが単一のフィードバック文をいつ適用すべきかを理解し、将来の出力で効果的に行うことを可能にすることだ。提案された方法は、フィードバックが適用される状況とされない状況を区別するための仮想プロンプトを生成する。元の応答と修正された応答をサンプリングして、モデルの動作を微調整する。

従来のアプローチは、元の完成品と修正された完成品を使用して、好みモデルの暗黙的報酬を最大化するかもしれない。しかし、これはフィードバックが無関係な場合にモデルが元の動作を維持することを保証するものではない。私たちの新しいアプローチは、関連するプロンプトの報酬を最大化し、フィードバックが適用されないプロンプトに対する調整を最小限に抑えることを目指している。

私たちの主な貢献は、LLMが口頭フィードバックから学びつつ、文脈に基づいて動作を適応させることができる方法を提供することだ。この新しい方法は合成データセットを生成し、他の状況における不要な変化なくフィードバックを適用することを目的にモデルを微調整する。結果は、私たちのシステムがより正確に関連するプロンプトにフィードバックを適用し、意図しない変更を大幅に減少させることを示唆している。

研究は、ユーザーフィードバックに基づいて言語モデルを適応させる重要性を示しており、過剰一般化を最小限に抑えながら、さまざまなアプリケーションにLLMが統合され続ける中で、特定のユーザーの好みに応じる能力を向上させることが、彼らの有用性と効果を大いに高めることを示している。

#関連研究

フィードバックからの言語システムの適応は、さまざまな文脈で研究されてきた。研究者たちは、個々のモデル出力に対する学習されたまたはヒューリスティック報酬、モデルの動作に関する口頭フィードバックなど、さまざまな種類のフィードバックを探求している。自然言語のフィードバックは、コード生成、要約、対話システムなどの分野でパフォーマンスを向上させるために利用されてきた。フィードバックは通常、生成中のモデル出力を洗練するために使われ、最終的な回答が生成される前に調整を可能にする。

特に注目すべき研究分野は、自己洗練であり、ここではLLMが自らのフィードバックを生成する。いくつかの研究は、これらの自己洗練手法からの最終出力がモデルに再統合され、テスト中の継続的な調整なしで全体的な性能を向上させることができると発見している。

私たちの研究に最も関連しているのは、自然言語フィードバックを用いて個々の出力を洗練するのではなく、全体的なモデルの動作を調整する研究である。一部の方法は、LLMが高レベルのルールに従うように促すために合成トレーニングデータを生成することを含む。その他は、フィードバックがモデル内に明示的に存在しなくても、フィードバックに基づいてモデルの動作を蒸留しようとする。しかし、これらのアプローチは特定の文脈にフィードバックを調整するのではなく、普遍的な行動の変化に焦点を当てることが多い。

さらに、モデル編集の分野では、全体的な能力を維持しながら、事前にトレーニングされたモデルに特定の編集を行う方法が検討されている。従来の研究は主に事実や推論の修正に焦点を当てていたが、私たちのアプローチは厳密な文脈の制限なしに一般的な行動の変化を見ている。

私たちは、高レベルの口頭フィードバックでLLMを更新するための2つの一般的なアプローチである監視付きコンテキスト蒸留と嗜好に基づく強化学習を概説する。

#監視付きコンテキスト蒸留

LLMを更新するための簡単な方法は、監視付きコンテキスト蒸留であり、テキストコンテキストを使用してモデルの動作を導く。このアプローチは、ユーザーのクエリとコンテキストが与えられたときに人間またはLLMがどのような行動を取るかを捉え、将来のアプリケーションにおいてコンテキストを含めずにモデルが適応できるようにする。

#嗜好に基づく強化学習（PbRL）

嗜好に基づく強化学習は、LLMを更新するためのもう一つの人気のある手法だ。この方法は、LLMによって生成された応答を評価し、注釈者がどの応答が良いかをラベル付けできるようにする。これにより、モデルにどの動作を採用し、どの動作を避けるべきかを伝えるデータセットを作成することができる。この報酬モデルの典型的な目的は、好ましいと見なされる応答の可能性を最大化することだ。

しかし、これらの既存の方法は、高レベルのフィードバックから学ぼうとすると、過剰一般化を引き起こすことが多い。この問題に対処することは、LLMが指定されたフィードバックの範囲外で不適切に動作を変更しないようにするために重要だ。

#過剰一般化なしでの口頭フィードバックからの学習

このセクションでは、LLMが人的な入力を大量に必要とせずに口頭フィードバックに素早く簡単に適応できるようにするアプローチについて説明する。

#口頭フィードバックを使ったモデルの適応

私たちのアプローチは、口頭フィードバックが短い文で表現できるという前提から始まる。LLMの動作に求める変更を説明することができる。課題は、このフィードバックを単に適用することが、フィードバックが適用されないプロンプトに対してモデルの動作を誤って一般化させてしまうことだ。

この問題に取り組むために、フィードバックを適用できる適切な状況だけで適用されるメソッドを作りたい。基盤のLLMから始めて、私たちの新しいメソッドはフィードバックに対処しつつ過剰一般化を避けるために微調整できるデータセットを生成する。このデータセットは三部構成になっている。最初の部分はモデルの動作の望ましい変更を示し、二番目はフィードバックの文脈外での元のモデルの動作を維持するのを助け、三番目はフィードバックを適用するのが適切なときにモデルが理解できるように設計されている。

#合成データセットの生成

これを実現するために、強力な汎用モデル（GPT-4など）を使って口頭フィードバックの一部を助けとなるデータセットに翻訳する。まず、フィードバックに関連するプロンプトのカテゴリを作成する。各カテゴリについて、フィードバックに関連するプロンプトのセットを生成する。さらに、フィードバックに関連しているように見えるが、実際にはフィードバックの範囲外のプロンプトも作成する。最後に、無関係なモデルの動作の劣化を防ぐためのコントロールとして固定のプロンプトのセットを含める。

このデータセット生成プロセスは、微調整戦略の基礎を成す。データセットを慎重に作成することで、モデルがフィードバックに適応しつつ元のモデルの動作を失わないようにすることができる。

#モデルの微調整

生成した合成データセットを使用して、フィードバックの遵守を改善しつつ、意図しない変化を制御するためにモデルを微調整する。微調整プロセスでは、生成された適用範囲内のデータを他の制約と統合して、モデルが無関係な文脈で動作を劣化させないようにする。

この二段階のアプローチにより、モデルの応答を効果的に調整しつつ、無関係なシナリオでの安定性も維持できる。目標は、フィードバックが適用される文脈でモデルがうまく応答し、適用されない状況では変更を避けることだ。

#結果の評価

私たちの実験は、新しいアプローチを通じてLLMのフィードバック学習を改善するさまざまな質問に答えることを目指している。まず、既存のメソッドが直面している過剰一般化の程度を評価する。次に、標準的なメソッドへの修正が過剰一般化を軽減できるかどうかに焦点を当てる。最後に、私たちのメソッドが複数のフィードバックから効果的に学習できる可能性を探索する。

#使用したデータセット

フィードバックデータセットには、100件のフィードバックを収集し、均等に人間生成とGPT-4生成の例に分けた。各フィードバックは特定の文脈でのみ適用されるように設計されている。また、モデルが適用範囲内および範囲外のプロンプトにどのように応答するかを評価するためのデータセットも作成した。

#評価のための指標

パフォーマンスを測るために、フィードバック遵守に焦点を当てた特定の評価指標を構築した。適用範囲内のプロンプトに対しては遵守を増やすことを目指し、範囲外のプロンプトに対しては元のモデルの動作を維持することを目指す。二つの測定方法、ヒューリスティックスコアリングとGPT-4スコアリングを使用した。ヒューリスティックは単純なリクエストに適用され、GPT-4スコアリングは主観的な評価が必要なより複雑なフィードバックに使用される。

フィードバックを適用しつつ、望ましくない変化を避けるモデルのパフォーマンスを反映する全体的な遵守スコアを計算する。このスコアはモデルの適応性に関する洞察を提供する。

#結果の概要

私たちの主な発見は、新しい方法が過剰一般化を大幅に減少させ、関連するフィードバックを効果的に遵守することを示している。このパフォーマンスは以前の技術を上回っており、私たちがLLMフィードバック学習の重要な課題に成功裏に対処したことを示している。

特に、私たちのアプローチは微妙なバランスを保っている：指定されたフィードバックへの遵守を改善しつつ、無関係な分野でのモデルの動作には影響を与えていない。このバランスは、LLMがさまざまなユーザーのニーズに実用的であることを確保するために重要だ。

#意義と今後の方向性

LLMが日常生活や産業にますます統合されるにつれて、ユーザーフィードバックに基づいてその動作をパーソナライズすることはますます価値が高まる。私たちの研究は、LLMが全体的な機能性を損なうことなく、高レベルの口頭フィードバックから学ぶことができるようにする重要性を強調している。

#継続的な学習

一つの興味深い探求の道は、適応されたモデルの重みを組み合わせることで継続的な学習を実現できるかどうかだ。もし、複数のフィードバックインスタンスから学んだ重みを効果的に混ぜることができれば、LLMは広範な再トレーニングなしにさまざまなユーザーのニーズに素早く適応できるかもしれない。

#フィードバック制約の精緻化

もう一つの探求すべき領域は、フィードバック制約の形成だ。私たちの発見は、フィードバックを適用する際の厳しさのレベルがモデルのパフォーマンスに影響を与える可能性があることを示唆している。将来の研究は、モデルアップデートにおける行動変化を制約するためのパフォーマンスの良い代替案を探ることで利益を得るかもしれない。

#結論

この記事では、モデルが過剰一般化なしに口頭フィードバックから学ぶ方法を議論した。LLMがますます一般的になる中で、この能力は彼らの有用性を向上させ、ユーザー体験を高めることになる。私たちのアプローチを適用することで、LLMが関連する文脈で効果的に動作を適応させつつ、元の機能を保持できるようにできる。今後の研究は、このプロセスをさらに向上させることに焦点を当てる予定だ。