多様な意見の合意を見つけるための新しい技術

意見が違う人たちの間で共通の立場を見つけるのは難しいよね。特に多くの人が自分の考えをシェアする場面ではなおさら。最近、大規模言語モデル（LLM）っていう新しい技術が、この問題を解決するのに役立つかもしれないって注目されてるんだ。これらのモデルは、いろんな意見を読み取って理解して、人間が書いたようなテキストを書けるんだ。

でも、うまく機能するためには、通常たくさんのデータが必要なんだ。特に人間がラベル付けしたり注釈をつけた高品質なデータは、手間がかかってお金もかかるから問題なんだよね。

#セルフアグリーメントの導入

この問題に対処するために、セルフアグリーメントっていう新しい方法を提案するよ。この方法では、モデルが人間の入力に頼らずに自分でデータを作るんだ。アプローチはこんな感じ：

1. GPT-3っていう強力な言語モデルを使って、データセット内の各質問に対していくつかの意見を生成する。
2. GPT-3は、その意見に基づいた可能な合意も作る。
3. その後、どの合意が与えられた意見を最もよく表しているかを評価する。
4. 最後に、見つけた合意を使って別の言語モデルを微調整する。

この方法で、質問、意見、合意を含むデータセットができて、それを使って言語モデルをトレーニングして、異なる意見の間で共通の立場を見つけるんだ。

#プロセスの重要なステップ

最初のステップは、データセット内の各質問に対して意見を生成すること。GPT-3に対して、各質問について複数の視点を作るように促すんだ。これを人間が書いた意見なしで行うから、プロセスが速くて安くなる。

次のステップでは、GPT-3に生成した意見に基づいて合意候補を作るように頼む。これによって、異なる意見がどのようにまとめられるかを特定するのに役立つ。

合意を生成したら、それを評価する必要がある。そこで、合意がどれだけ意見と一致しているかを測るモデルを使う。合意と意見の一致度を示すスコアを定義するんだ。0のスコアは全く一致しないことを意味し、1は完全に一致することを意味する。

次に、各合意候補をスコアリングする。一番スコアの高い合意が、意見を最もよく表しているものに選ばれる。

質問、意見、合意を含むデータセットができたら、さまざまな意見の間で効率的に共通の立場を見つけることができるように、言語モデルを微調整する。

#言語モデルの微調整

言語モデルを微調整するために、7億のパラメータを持つLLaMAモデルのバージョンを使う。作成した構造化データセットに基づいて合意を見つけるタスクに焦点を当てる。

トレーニングセットの各データには、指示、入力、期待される出力が含まれている。指示は、与えられた意見の中から合意を見つけるようにモデルに指示していて、トレーニングを助けているんだ。

#アプローチの評価

私たちの方法がどれだけうまく機能するかをテストするために、たくさんの質問と回答が含まれたYahoo! Answersデータセットを使った。意見と合意を生成するために質問のサブセットを選んで、対立する意見と非対立の意見の両方を作成したんだ。

微調整したモデルを、サイズは大きいけど評価のベンチマークとなるGPT-3と比較した。合意候補をランダムに選んで最適な候補のアプローチを使って、合意を見つけるいくつかの方法をテストした。

これらのテストを通じて、微調整したモデルは良い結果を示した。合意をランダムに選んだ場合、対立する状況でも非対立の状況でも、私たちのモデルはGPT-3に匹敵するパフォーマンスを発揮した。ベストな合意を選んだ時には、スコアが改善されて、最も関連性の高い応答を選ぶことの利点が示された。

#結果と発見

結果から、私たちのアプローチは意見を効果的に要約し、対立する意見があっても合意を見つけることができることが分かった。どの国が最も良い発展指標を持っているかという例では、両方のモデルの回答が合意文を作成する能力を示した。しかし、私たちのモデルは、異なる視点を認めつつ、一つの結論に無理やり持っていくことなく、よりバランスの取れた見解を示した。

さらに、カタストロフィックフォゲッティングという一般的な問題も調べた。これはモデルが新しいタスクでトレーニングされた後に以前のタスクを忘れてしまう現象だ。このモデルをテストしたところ、微調整後も一般的なタスクではうまく機能していて、モデルが以前の知識を保持していることが示唆された。

#結論

要するに、私たちは異なる意見の間で自動的に合意を見つけるための言語モデルの微調整手法としてセルフアグリーメントフレームワークを紹介した。この方法は、高額な人間による注釈データへの依存を減らして、より広いオーディエンスにアクセス可能にしているんだ。

質問、意見、合意候補を含む大規模なデータセットを提供して、さまざまな見解の合意を見つけるための貴重なリソースとなる。私たちの実験はセルフアグリーメントフレームワークの有効性を確認し、より小さなモデルがリソースが少ない中で大きなモデルのパフォーマンスに匹敵する可能性を示した。これにより、さまざまな意見に対処し、議論の中で共通の立場を見つけることの可能性が強調されるんだ。