多様なフィードバックで言語モデルを改善する

大規模言語モデル（LLM）は、テキストの要約やオンライン情報の検索、チャットボットの運営など、いろんなタスクに使われてるんだ。これらのモデルは、いろいろな学び方をする。最初に大量の情報をガイドなしで取り込んで、その後、人からの例でトレーニングして（これを監視付きファインチューニングって呼ぶ）、人が好きなことについてのフィードバックから学ぶ（これを人間のフィードバックからの強化学習って呼ぶ）ことで改善できるんだ。

良いトレーニング例を集めるのは難しいこともある。時には例が足りなかったり、質が良くなかったりすることもある。人がフィードバックをくれる方法も違う場合がある。例えば、単にどの回答が良いか（はいかいいえ）を示すフィードバックもあれば、スコアや詳細なコメントをくれることもある。

これらの課題に対処するために、私たちは異なるタイプのフィードバックを使ってLLMをファインチューニングする新しい方法を提案するよ。私たちの方法には二つの主要な部分がある。まず、異なるフィードバックタイプをトレーニング用の単一フォーマットに統合する。次に、この結合データセットから高品質な小さな例のグループを選ぶんだ。この小さなグループは、すべての例を使うよりもモデルのパフォーマンスを実際に向上させることができる。

私たちはこの方法がどれだけ効果的かを確かめるために多くのテストを行った。モデルが指示に従う能力を向上させ、応答のバイアスを減らすのに役立つことがわかったよ。

#ファインチューニングの仕組み

LLMのファインチューニングは、特定のタスクに調整することを含む。例えば、InstructGPTは指示に従うようにファインチューニングされたモデルさ。プロセスは、モデルがどのように振る舞ってほしいかの例を集めるところから始まる。これは監視付き学習を含んでいて、モデルは提供された例から学ぶんだ。いくつかのモデルはそこで止まるけど、InstructGPTのようなモデルは、人が好むものに関するフィードバックを使ってさらにトレーニングを続ける。

ファインチューニングする時、データセットはしばしば一種類のフィードバックのみで構成される。チャットアシスタントや代名詞の識別、役立ちさや誠実さを確保するタスクごとにさまざまなデータセットがあるんだ。これらのデータセットでフィードバックがどのように与えられるかは異なることもある。例えば、単純なはい/いいえのフィードバックを使うデータセットもあれば、数値スコアを与えるものもある。ファインチューニングは有益だけど、しばしば一種類のフィードバックだけに依存していて、モデルの学びが制限されることがあるんだ。

#ファインチューニングの過去の改善

最近、ファインチューニングデータセットの質を向上させる努力がいくつかあった。いくつかの研究では、LLMを使って意味のある例のグループを作ることが行われている。別の研究では、プロンプトの変更がモデルの回答についての不確実性を示すことができることに注目している。一部の研究では、元のデータのほんの一部を使ってもパフォーマンスを向上させる方法が見つかったよ。

私たちは、複数のフィードバックデータセットを同時に使うことを可能にするフレームワークを紹介する。これにより、論理的思考を改善しつつバイアスを減少させるような異なるタスク用にモデルを一緒にトレーニングできる。データの種類を広げることで、人々が何を好むかについての理解が深まり、より効果的なファインチューニングプロセスが実現できるんだ。

#フレームワーク

私たちのフレームワークの最初のステップは、異なるデータセットを様々なフィードバックを含む一つのデータセットに統合することだ。次に、各例にその質やプロンプトの多様性に基づいてスコアを付ける。その後、特定の基準を満たさない例をフィルタリングして、洗練されたデータセットを作る。この結合されたセットは、標準的なファインチューニング手法に利用される。

私たちのフレームワークの主な利点は、多様なフィードバックをトレーニングに使えることだ。これにより、同じデータが非常に似ていても、冗長な例をフィルタリングすることで質と多様性を確保できるんだ。

#ファインチューニングデータセット

私たちはファインチューニングのために二種類のデータセットを使ってる。最初のタイプは、各プロンプトに対する二つの反応がある明確なフィードバックを含むもの。二番目のタイプは、スコア付きのユーザー応答が含まれてる。このタイプのデータセットは、同じプロンプトに対するさまざまな応答を見ることができるんだ。

統一データセットを作るために、プロンプトを取り、関連するすべての応答を集める。これには、各プロンプトに対して少なくとも二つの回答が必要だ。質と多様性のフィルタリングの後、この集まりからデータセットを生成する。

#質と多様性の選択

例の質はその数値スコアに基づいて判断する。多くのスコアを持つデータセットの場合、選択するスコアはファインチューニングで達成したい目標によって決まる。例えば、有害な応答を減らしたい場合は、トキシティスコアに注目することがあるんだ。

多様性を確保するために、各プロンプトの埋め込みを作成し、類似のものをグループ化する。これにより、データ内の冗長性を見つけ、各グループからベストな例だけを選べるようになるんだ。

#トレーニングプロセス

トレーニングでは、最初に事前トレーニング済みのモデルを使う。最初に私たちの統一データセットを使って監視付きファインチューニングを行い、その後、報酬モデルのトレーニングを行う。次に、人間のフィードバックからの強化学習を行う。私たちは、モデルのパフォーマンスをどれだけ改善するかを測りながら、データセットの異なる部分を使いたいと思ってる。

#実験の設定と結果

私たちは、WinoGrande、OpenAssistant（OASST）、WinoGenderという三つのデータセットを使ってこの方法をテストした。WinoGrandeはより難しく、文中のコアフェレンスを理解するのに役立つ。OASSTは応答に対する数値フィードバックを提供する会話データセットだ。WinoGenderは、モデルが性別に基づいてバイアスを示すかどうかをテストする。

私たちは、WinoGrandeだけを使うか、WinoGrandeとOASSTの組み合わせを使ってモデルをファインチューニングした。また、データのさまざまな部分を使って結果にどう影響するかを見たよ。

さまざまなフィードバックタイプを測定することで、私たちのフレームワークがバイアスを減らしつつ、全体の有用性を維持するのに役立つことがわかった。

#アプローチの比較

私たちは、基本的な方法（事前トレーニング済みモデルやWinoGrandeだけでファインチューニングされたモデルを含む）と比べて、私たちのアプローチがどれだけ効果的かを見てみた。私たちの方法は多様なフィードバックを使っているため、他の方法よりも一般的に優れていることがわかった。結果は、データのミックスを使うことで、バイアスを減らし精度を向上させることができることを示しているよ。

#質的結果

数値結果に加えて、私たちはモデルにさまざまなプロンプトを使ってチェックもした。私たちは、私たちのフレームワークを使ったモデルが基本的なモデルよりも関連する応答を提供したことを見つけた。これは、私たちの方法がモデルが指示に従い、より適切に応答するのを助けるかもしれないことを示しているんだ。

#結論

要するに、異なるタイプのフィードバックを組み合わせてファインチューニングする私たちのアプローチは、単一のデータセットでは得られないパフォーマンスを大幅に向上させることができる。使用するデータの量を調整することで、すべてのデータを使うのと同じかそれ以上の結果を達成できるんだ。特に、私たちのフレームワークは、複数のタスクに対するファインチューニングを同時にサポートして、応答の質を向上させ、望ましくないバイアスを減少させることができる。このことは、多様な監視方法でLLMの効果的なファインチューニングが可能であることを示しているよ。

#異質データセットの作成

私たちは、多様なデータセットを作成する方法の例も含めた。私たちは、主データセットであるWinoGrandeと副データセットであるOASSTに基づいて、さまざまなタイプの情報を集めた。これはプロンプトを取り、質に基づいて回答を選択することを含み、トレーニング用のデータセットを豊かにすることができたんだ。

#監視タイプの変換

最後に、フィードバックがバイナリ、序数、数値の三つの形で来ることを説明した。これらのタイプを単純化することで、モデルのトレーニングのためのより管理しやすいデータセットを作成できるんだ。

結論として、これは幅広いフィードバックタイプを用いた大規模言語モデルのファインチューニングのための明確な進展を示していて、精度の改善だけでなく、モデルをより責任感のあるものにし、バイアスを減少させることにつながるんだ。