LLMを使ったコントロール可能なテキスト生成の進展

テキスト内の特定の特徴がどのように生成されるかをコントロールすることは、さまざまなタスクにとって重要なんだ。例えば、メッセージがどれだけフォーマルか、説明がどれだけ明確か、チャットがどれだけ感情的かを調整することが含まれる。大規模言語モデル（LLM）はテキスト生成で大きな進展を遂げていて、これらの特徴をよりよくコントロールする方法を探す必要が出てきてる。

この記事では、LLMが生成するテキストの特定の特徴の強度をどれだけうまくコントロールできるかを測る方法を提案するよ。生成されたテキストのこれらの特徴の範囲、一貫性、正確さを異なるコントロール設定に基づいて評価するメトリクスに注目してる。さらに、テキストが意図したトピックにどれだけ関連しているかも評価する。

これらの側面を測るために、評価フレームワークを使うんだけど、これは有名なスコアリング方法（Elo レーティングシステム）と強力な言語モデル（GPT-4）を組み合わせたものだ。どちらのツールも人間の判断と密接に一致することで知られている。

私たちの研究では、LLMが追加トレーニングなしでテキストを生成する方法を調整できる2つの方法を調べている。1つ目は、文の意味を変えるように慎重に選ばれたフレーズを使ったプロンプトを使う方法。2つ目は、モデルの内部動作を変更する方法だ。これらの戦略をさまざまな特徴やモデルでテストし、さらなる研究のために私たちのコードやデータセットにアクセスする方法を提供するよ。

特に、説明の明確さをコントロールする方法を紹介するね。コントロール値を調整することで、応答のプロフェッショナル度を変えられるから、コミュニケーションにおける詳細なカスタマイズができるんだ。

コントロール可能なテキスト生成（CTG）は、ユーザーやアプリケーションが設定する特定の要件を満たすために必要なものだ。例えば、メッセージのトーンや丁寧さを調整するのは、対話においてよく求められる。言語生成システムがさらにパーソナライズされるにつれて、この能力への需要が高まっている。

私たちの焦点は、スムーズにコントロールできるテキスト生成（SCTG）というより定義されたタスクにある。CTGタスクは生成されたテキストが特定の特徴を満たすことを確保するけど、SCTGは特徴の強度の異なるレベルを許容することで一歩進んでいる。例えば、メールを書くとき、受取人によってフォーマル度が変わるかもしれない。別の例を挙げると、概念を説明するとき、聴衆の既存の知識によって詳細が変わることがある。

成功したスムーズコントロールは、望ましい特徴の強度を維持しながら、元の質問に適切に答える応答を提供することを意味する。私たちは、これらの2つの領域でのスムーズコントロールのパフォーマンスを評価するためのフレームワークを示すよ。

私たちの評価は2つの重要な部分に焦点を当てている。まず、強度レベルが適切であるかを測るために、キャリブレーション（強度がコントロール値とどれだけ近いか）とバリアンス（同じコントロール値で異なる応答間で強度がどれだけ変わるか）を見てる。次に、応答が与えられた質問にどれだけ関連しているかを評価する。

この評価を人間の入力なしで達成するために、生成された応答の特徴の強度を正確に測る自動システムが必要なんだ。人間の評価をシミュレートするために最先端のLLMを使い、これらの評価が人間の判断と一致することを確保するためにEloレーティングシステムを使う。

具体的には、異なる強度レベルの応答のペアを調べ、どの応答がより高い強度を表現しているかを判断するためにGPT-4を利用する。そして、これらの比較を絶対スコアに変換するためにEloレーティングアルゴリズムを使う。このパイプラインを最適化することで、すべての応答のペアを比較することなく、正確なスコアを得ることができる。

LLMがさまざまなアプリケーションにテキストを生成するためにますます人気が高まる中、私たちの評価パイプラインは、スムーズコントロールを達成する能力を調べるのに役立つ。

私たちは、LLMでこのスムーズコントロールを達成するための2つの方法を調査している。1つ目は、各特徴に合わせて調整された注意深く選ばれたフレーズを使ったプロンプト、つまり意味のシフターを使う方法。2つ目は、表現エンジニアリング（RepE）と呼ばれるモデルの内部表現を変更する方法で、より正確な特徴強度のコントロールを実現する。この後者の方法はモデルの内部動作にアクセスする必要があるけど、より詳細な調整を提供することができる。

私たちは、カジュアルなチャットでの感情的強度の変更、ライティングにおける明確さとフォーマル度の調整、概念の説明における詳細レベルのコントロールなど、さまざまなタスクで評価を行っている。

私たちの発見は、いくつかの洞察を明らかにしている。まず、大きなモデルがスムーズコントロールの観点で常に良い結果を出すわけではないこと。次に、プロンプトは表現エンジニアリングに対してほぼ同等、もしくは少し良い効果を持つようだ。

私たちの重要な貢献には、まずスムーズコントロールのタスクを明確に定義し、新しい評価基準を導入することが含まれ、効率的なEloベースのレーティングシステムとベンチマーク用の包括的なデータセットが含まれる。次に、トレーニングなしの2つのアプローチを通じて、さまざまなLLMのスムーズコントロールのパフォーマンスを徹底的に評価している。私たちの研究で使用したデータセットとコードは、今後のこの分野の研究をサポートするために公開されているよ。

#関連研究

#コントロール可能なテキスト生成

私たちのスムーズコントロールに関する研究は、特定の特徴、つまりトピック、感情、スタイルに合った文を作成することを目指すコントロール可能なテキスト生成（CTG）に基づいている。これらの特徴を効果的に管理することは、高度なライティングタスクにとって重要だ。複数の属性を同時に操作することで、理論的には一貫性のある適応可能なテキストを生成することが可能であり、それがテキスト生成研究の注目点となっている。

CTGを達成するための方法には、プロンプトの使用、既存の言語モデルの微調整、ポストプロセッシングが含まれ、CTGにより適したモデルを作成することを目的としている。微調整は一般的なアプローチであり、通常はモデルの一部のみを調整することが求められる。他の方法では、テキストの望ましい特徴に対するフィードバックから学ぶ強化学習を使用する。中には、CTGのニーズを満たすために特に訓練された新しいモデルを訓練する試みもある。これらのモデルが大きくなるにつれて、広範な調整なしでCTGを達成することが可能になっている。

この研究では、特にプロンプトと表現エンジニアリングに焦点を当てている。これらはモデルを再トレーニングする必要がなく、特に現代のLLMのスケールを考慮すると、より実用的なアプローチになる。

#テキストスタイル変換

スムーズコントロールは、テキストのスタイルを変更しつつその内容を保つことを目指すテキストスタイル変換（TST）とも関連している。異なるスタイルの並行データが利用できない場合、方法はコンテンツとスタイルを表現空間で分離し、続いて生成技術を使って望ましいスタイルで新しいテキストを作成することが含まれる。他の戦略では、文の構造を抽出し、そのスタイルマーカーを操作して望ましい出力を得ることが含まれる。

TSTは、個人化された対話生成、スタイリッシュな要約、オンラインテキストのバイアス除去など、さまざまなタスクで広く適用されている。

#問題の定義

このセクションでは、LLM生成テキストにおけるスムーズコントロールのタスクを正式に定義し、評価のために作成したベンチマークデータセットを紹介する。

#スムーズコントロールの定義

オープンエンドの質問に対して、スムーズコントロールはLLMが生成するテキスト内の特定の特徴の強度を微細に調整することを目指す。このコントロールは、特定のニーズや好みに合わせて正確な修正ができるように、値の範囲にわたって展開するべきだ。

多くの可能な回答を持つクエリに対して、スムーズコントロールでは属性を特定し、モデルがカスタマイズされた応答を生成するためのコントロール値を提供する必要がある。理想的には、応答内の属性の観察された強度は、意図したコントロール値と一致するべきだ。

私たちは、スムーズコントロールを調査する際に3つの主要な側面に焦点を当てている：

1. コントロール値: 理想的には、コントロール値は実数であるべきだ。ただし、強度が異なる多くの可能な応答があると、評価が難しくなることがある。これに対処するために、滑らかなコントロールを模倣するために10の離散値（0-9）を使用する。

2. 強度測定: 特定の応答内の特定の特徴の正確な強度を測定するための標準的な方法は存在しないため、評価には大きな課題がある。

3. 強度とコントロールの相関: コントロール値と応答内の特徴の強度との関係は、方法やモデルがスムーズコントロールを管理できるかどうかを反映している。

この評価を促進するために、応答のペアを比較し特徴の強度を評価する新しい自動評価フレームワークを提案する。

#ベンチマークデータの構築

スムーズコントロールタスクにおいて、クエリ、属性、コントロール値は重要な構成要素だ。設計した評価フレームワークを使用するために、コントロール値は10の離散選択肢に設定される。以下に、ベンチマークデータセットを構築するために使用するクエリと属性の選択プロセスを概説する。

#属性の選択

一般的なアプリケーションでは、テキストの主要な属性は通常以下の通りだ：

• 感情: テキストの感情的トーン、例えば怒りや幸福を指す。
• スタイル: 書き方の側面を包含し、フォーマルさと明確さが効果的なコミュニケーションのための2つの重要な要素だ。
• 言語的特性: テキストの構造的特徴を反映し、簡潔さは効率的な情報伝達のための重要な側面だ。

私たちは評価のために実用的な属性を選び、より簡単に参照できるようにラベリングする。

#クエリ生成

スムーズコントロールを効果的に評価するために、選択したクエリがさまざまな方法で有効な応答を生成できることを確保する必要がある。各クエリは、指定された属性の強度が異なる少なくとも10の異なる応答を引き出すことができるべきだ。

このプロセスを効率化するために、現代の言語モデル（GPT-4-turbo）を使ってクエリを生成し、さまざまな応答を生成できることを確保する。最終的に構築されたデータセットには、5つの異なる属性をカバーする1,500のクエリ文が含まれている。

#スムーズコントロールの評価

自動レーティングシステムを導入し、スムーズコントロールのパフォーマンスを評価するために作成したメトリクスを提示する。

#レーティングシステム

特定の特徴を表現する文がどれだけ適切かを測定するために、自動化された方法が必要だ。最近の評価で効果があったEloレーティングシステムを利用する。

Eloは、あるインスタンスが他のインスタンスよりも好まれる可能性を捉えるためにレーティングをモデル化していて、私たちの場合、特定の特徴をどれだけ強く示しているかを基に文を比較することに当たる。

文のペアの比較に基づいてレーティングを計算し、レーティングの差に基づいて好まれる可能性を決定する。

#レーティングシステムの人間評価

私たちのシステムによって生成されたレーティングが人間の意見とどれだけ近いかを、定性的および定量的な研究を通じて検証する。

定性的研究では、計算されたレーティングに基づいて文をグループ化し、これらのビンが異なる強度レベルにどれだけ対応しているかを観察するためにサンプルを提示する。

定量的研究では、異なるレーティング差を持つランダムペアの文を取り、人間のアノテーターに好みを特定するよう求める。さまざまなレーティングの差に対する人間の好みの割合を示すチャートを作成する。

結果は、人間の好みとEloレーティングの強い一致を示し、私たちのシステムの効果を示している。この正確性は、弱いモデルには当てはまらず、好みを誤って判断する傾向がある。

#Elo計算のスピードアップ

私たちの研究は、文のグループを使用することで、GPT-4をペアワイズアノテーターとして利用するとEloレーティングを効率よく計算できることを示している。通常、レーティングを自信を持って推定するには広範なペアワイズ比較が必要だけど、このプロセスを加速するための戦略を導入する。

選択された文の「ライブラリ」を確立することで、新しい文をこのライブラリと比較してレーティングを決定できるため、数多くのペアワイズ比較を行う必要がなくなる。

この方法は、新しい文の信頼できるレーティングを得るために必要な労力を大幅に削減する。

#評価メトリクス

特定の特徴のコントロール品質を評価するために、異なるコントロール値に基づくさまざまな質問を分析する。生成された文と私たちのシステムによって計算されたスコアに基づいて、3つのメトリクスを提案する。

1. Mean-MAE: これは、コントロール値に基づく文のレーティングの誤差を測定する。生成された文が最適なコントロールにどれだけ一致するかを定量化するのに役立つ。

2. Mean-STD: 異なるコントロール値にわたる文のレーティングのバリエーションを評価する。成功したスムーズコントロールの方法は、一貫した強度レベルを持つべきだ。

3. 関連性: これは、応答が元の質問にどれだけ適切に答えているかを測る。理想的なスムーズコントロールのアプローチは、改善されたエラーメトリクスのために応答の有用性を犠牲にするべきではない。

#実験設定

さまざまなLLMのスムーズコントロール能力を評価するために実験を行う。ここでは、実験に使用するモデル、属性、データセットを提示する。

#モデル

実験では、MistralやLLaMA2などのオープンソースとクローズドソースのLLMを利用し、特に内部パラメータにアクセスできるものに焦点を当てる。

#属性

前述のように、私たちは特に感情、スタイル、明確さに関連する属性を評価している。

#データセット

私たちは、作成したベンチマークデータセットを利用し、5つの属性エリアにわたる1,500のクエリ文を含む。

#メトリクス

私たちの評価フレームワークに基づいて、平均MAE、標準偏差、および関連性に基づいて評価を行う。

#実験結果

さまざまなモデルと方法によるスムーズコントロールのパフォーマンスを比較した評価の結果を提示する。特に、GPT-4はすべての属性で他のモデルを一貫して上回り、平均MAEが著しく低く、コントロール値と生成された強度の一貫性が向上していることを示している。

興味深いことに、大きなモデルは必ずしもスムーズコントロールにつながるわけではないことがわかる。LLaMAファミリーをテストしたところ、モデルのサイズが増加するにつれて、いくつかの属性で平均MAEが減少する傾向が見られた。

また、プロンプト手法が表現エンジニアリングと同等かそれ以上の結果を生むことを認識している。これは、プロンプトが内蔵モデルにアクセスする必要がなく、効果的なコントロールを実現するため、実用的なアプリケーションには好ましいかもしれない。

#パラメータ選択の特異性

プロンプトでの強度調整に使用する記述子がモデル固有か、普遍的に適用できるかを探る。私たちの発見は、記述子は各モデルに合わせて調整する必要があり、異なるモデルが異なる強度記述子に対してより良い反応を示すことを示している。

固定の意味シフターと選択された記述子の成功を比較すると、後者がパフォーマンスを大幅に向上させていることがわかる。

#結論と今後の研究

この研究は、LLMによるスムーズにコントロール可能なテキスト生成を調査している。異なる特徴の強度に基づくスムーズコントロール手法を評価するためのシステムを開発している。このシステムは、効率的にEloレーティングを採用して評価を自動化している。

プロンプトと表現エンジニアリングの2つの方法の包括的なテストを通じて、大きなモデルがパフォーマンスを妨げることがあること、またプロンプトがしばしばより良い結果を得られることを発見している。

今後は、LLMを評価に使用する現在の限界を認識し、モデルの微調整が必要な側面を調査したり、他のソフトコントロール方法を探索したりすることができる。

私たちの研究は、いくつかの組織によって支援されており、調査結果は著者の見解を反映したものであり、資金提供機関の見解を必ずしも反映するものではないことを明記している。

#プロンプトテンプレート

以下は私たちの研究で使用したテンプレートです：

質問生成テンプレート: "Generate 10 prompts that can be answered with varying degrees of ."

ペアワイズアノテーションテンプレート: "For each pair of responses, identify which response expresses more . Write the pair number followed by '1' if the first response is more , or '2' if the second response is more . Format your response like this: '1. 1', '2. 2', etc."

関連性アノテーションテンプレート: "Given the following query and response, please assess whether the response is relevant to the query. Answer with '1' if the response is relevant, and '0' if it is not relevant."

度合い記述によるプロンプトテンプレート: "Please respond to queries[i] with a paragraph in a [tone style] that is semantic shifter. The response should be three sentences long."

度合い記述生成テンプレート: "Describing levels on a scale from -9 to 10 using phrases."

刺激プロンプト生成テンプレート: "Generate 10 prompts that can stimulate ."

意味シフターの候補テンプレート

パラメータ選択分析テンプレート: "We considered different sets of (from 0 to 1) for the weighted average of Mean-MAE and Mean-STD to calculate the overall metric."

生成データの例: これには、さまざまな感情、スタイル、詳細レベルに基づくプロンプトと対応する応答の多様な範囲が含まれ、スムーズコントロール能力の全範囲を示す。

この長文の記事は、研究結果を明確に要約し、LLMを使用したテキスト生成におけるスムーズコントロールの方法、評価、影響を簡潔に説明している。