コンテキストプロンプトを使って合成データ生成を改善する

リアルな合成表形式データを生成するのは、機械学習モデルの向上やユーザープライバシーの保護、欠損データの補填など、いろんな用途で大事なんだ。最近の進展で、大規模言語モデル（LLM）がこの目的に使われるようになった。でも、実際のデータセットには不明瞭な特徴名があったり、文脈が不足していたりすることが多いのが大きな課題。この記事では、より良いプロンプトの構築がLLMを使った表形式データ生成の質と効率を向上させる方法について話すよ。

#問題定義

表形式データは行と列から成り立っていて、各列（特徴）はデータセットに関する特定の情報を持ってる。例えば、ある列はローン申請者の年齢を表していて、別の列は借りている金額を示すかもしれない。大きな問題の一つは、これらの特徴名が時々曖昧になること。例えば、「Attribute A」というラベルが付いている特徴があったとしたら、それが何を表しているのかがわかりにくい。

合成データを生成する場合、LLMは各特徴の意味を明確に理解する必要がある。もし特徴名が曖昧だったり、解釈が難しい略語が含まれていたりしたら、生成されるデータの質が低下する可能性が高い。私たちの目標は、プロンプトを通してこれらの特徴名により多くの文脈を追加することで、データ生成プロセスを改善できるかどうかを探ること。

#現在のアプローチ

合成表形式データを生成するための既存の方法の一つはGReaTと呼ばれるもので、これは表形式データをLLMが理解できるテキストベースのフォーマットに変換する。具体的には、データセットの各行を取り、特定のフォーマットを使ってプロンプトを作成する。この方法は、特徴名とその値を組み合わせるけど、特徴名が十分に説明的でなかったり、あまりにも一般的だったりすると、うまくいかないことがある。

この問題に取り組むために、私たちはプロンプトを強化するための3つの新しい戦略を提案するよ：

1. ドメインエキスパートの利用：この方法は、各特徴名に対して明確な説明を提供できるドメインエキスパートからの意見を得ることを含んでいる。これにより、曖昧な特徴名に文脈を追加できる。

2. LLMを使った説明の自動化：人間のエキスパートだけに頼るのではなく、LLM自体を使用して元の名前に基づいて特徴の追加説明を生成することができる。

3. 一般的な名前を意味のある記述子にマッピングする：特徴名が有用な情報を提供しないデータセットの場合、LLMにその特徴の値の範囲に基づいて関連する名前を提案させることができる。例えば、「Attribute A」とラベル付けされた特徴が特定の限界内の値を持っている場合、LLMが物理学や生物学などの関連分野からより意味のある名前を提供できるかもしれない。

#提案する方法論

私たちは、より情報量の多いプロンプトを構築することでデータ生成プロセスを改善することに注力した。提案した3つの戦略は、特徴名の背後にある情報を豊かにするための異なる方法を提供し、LLMにとってより良い文脈をもたらす。

1. 専門家による拡張：このアプローチでは、人間の専門家が各特徴が何を表しているかの詳細な説明を提供する。これにより、LLMは高品質なデータを生成するために必要な文脈を持つことができる。

2. LLM主導の説明：この別の方法では、ChatGPTのような事前に訓練されたLLMを使って特徴名の説明を生成する。これにより、各特徴のハンズオンの専門知識なしで、プロンプトを改善するためのより早くて労力の少ない方法が得られる。

3. 特徴名のマッピング：この方法は、一般的な特徴名の制限を克服することを目指し、データセットの値の範囲に基づいて適切な名前を提案するようにLLMに照会することで、意味を加える。

#実験設定

私たちは、分類と回帰タスクの両方を含む4つの異なるデータセットを使って新しい戦略をテストした。これらのデータセットは、ローン評価、天文観測、不動産、医療記録など、さまざまな分野にわたっていた。データセットをトレーニングデータとテストデータに分け、トレーニングデータを使ってLLMを微調整し、テストデータを使って生成された合成データの性能を評価した。

合成データの質を測るために、生成されたデータで訓練された機械学習モデルが実際のテストデータに適用されたときのパフォーマンスを見た。この測定は、しばしば機械学習効率（MLE）と呼ばれる。私たちは、ランダムフォレストや決定木などの一般的な機械学習モデルを使った。これらのモデルを合成データで訓練し、実データでテストすることで、モデルがどれだけ一般化できるかを見積もり、合成サンプルの質のアイデアが得られた。

#結果と考察

実験の結果、情報量の多いプロンプトを使用することで合成データの生成が改善されることが分かった。生の特徴名を使用する従来の方法と提案した3つの方法を比較した際、文脈を追加することで合成データの質が大幅に向上することが分かった。例えば、専門家にサポートされたプロンプトやLLMによって生成されたプロンプトを使ったデータで訓練されたモデルは、生の特徴名で訓練されたものに比べて、精度が高く、エラー率が低かった。

特に、Magic Telescopeデータセットでは、強化されたプロンプトがベースラインに対して最大である一定のパーセンテージの精度向上をもたらした。また、これらの強化されたプロンプトを使ったモデルは、同じレベルのパフォーマンスに達するために必要なトレーニングエポックが少なくて済み、つまりより良いデータを生成しているだけでなく、トレーニングプロセスにおいても効率的だった。

異なるデータセットでパフォーマンスを評価したところ、専門家主導とLLM主導の方法が特徴名が曖昧な場合に特に有効であることが分かった。一方で、すでに説明的な名前が付いているHELOCやCalifornia Housingのようなデータセットでは、強化されたプロンプトからの大幅な向上は見られなかった。これは、文脈を豊かにする戦略が、特徴名が本質的に明確でない場合に最も効果的であることを示している。

#得られた教訓

実験を通じて、特徴名により多くの文脈情報を加えることで、合成データを生成する際のLLMのパフォーマンスが大幅に向上することが分かった。これは特に、元の特徴名に意味や明確さが欠けている場合に当てはまる。私たちの発見は、データ生成方法を改善するために表形式データセットにおける明瞭で記述的な名前の重要性を強調している。

私たちの研究は良い結果を示したが、限界も認識している。私たちは4つの異なるデータセットでしか戦略をテストしていないので、これらの方法をより広範なデータセットで検証するためのさらなる研究が必要だ。また、私たちは主にMLEを成功の尺度として扱っていて、これはデータ品質のすべての側面をカバーしていないかもしれない。さらなる評価指標を含めることで、生成された合成データの特性をより完全に把握できるだろう。

#結論

リアルな合成表形式データを生成するのは、多くの分野に大きな影響を与える貴重な研究分野だ。私たちの研究は、豊富なプロンプトを使うことで、大規模言語モデルによって生成されるデータの質と効率が向上することを強調している。専門家の意見から自動の説明まで、さまざまな戦略を採用することで、データ生成プロセスを大幅に改善できる。今回の研究結果は、合成データ生成に関連する課題に取り組むための将来の研究の有望な方向性を示している。