知識グラフを使った言語モデルの評価

構造化された知識を使うシステムでは、知識グラフ（KG）がグラフデータを人が理解しやすいテキストに変換する重要な役割を果たしてるんだ。最近の研究では、大量のテキストで訓練された大規模言語モデル（LLM）が、限られた訓練データでもKGからテキストを生成できることがわかった。この論文では、これらのモデルがゼロショット生成、つまり特定のタスクに対する訓練なしでテキストを生成する能力を見ていくよ。特にChatGPTがこのタスクでどれだけできるか、事実、反事実、フィクションのステートメントに対するパフォーマンスを調べるよ。

#知識グラフの重要性

知識グラフは、エンティティがプロパティや関係でつながれる情報を表現する方法だ。各エンティティ、プロパティ、別のエンティティの組み合わせはトリプルを形成する。KGはシステムが物語を語ったり、チャットボットの質問に答えたり、推薦を提供したりするのを助けるんだ。

従来、KGからテキストを生成するには、特定の状況にうまくいく固定テンプレートを使ってた。でも、このアプローチは柔軟性を制限することがあるんだ。データドリブンな方法では、KGからの例に基づいてモデルを訓練することが含まれるけど、ラベル付きデータの入手はしばしば課題だ。WebNLGのようなデータセットはいくつか存在するけど、比較的小さい。

#プレトレーニングの役割

最近のアプローチでは、大規模なテキストデータセットでのプレトレーニングの後、KGからテキストへのタスクでファインチューニングを行っている。これらのモデルは、以前見たことのない新しいKGデータに適用できるテキストのパターンを学習するんだ。このアプローチはファインチューニングへの依存を減らすんだ。私たちは、特定の訓練なしに大規模言語モデルがKGからテキストを生成できるかどうかを調べるよ。

#自然言語生成の課題

自然言語生成は、しばしば入力データに合わない出力を生み出すことがある。この場合、"幻覚"と表現されることがあるんだ。これらの間違いは望ましくないコンテンツにつながることがあるから、異なる情報のタイプが出力の質にどのように影響するかを評価することが重要なんだ。

LLMが事実データで訓練されているから、これは事実、反事実、フィクションのKGからテキストを生成する能力に影響するかもしれない。だから、トリプルをテキストに変換する時にLLMがこれらの異なる知識をどのように扱うかを評価することが重要だよ。

#研究課題

この論文は次の質問に答えることを目指してるよ：

1. LLMはWebNLG 2020チャレンジのようなKGからテキストへのタスクでどれだけパフォーマンスを発揮するの？
2. KGトリプルの性質（事実、反事実、フィクション）がLLMの知識の表現能力にどのように影響するの？
   • 文法とコヒーレンスにどのように影響する？
   • トリプルのカバー率はどれくらい？
   • 幻覚はどれくらい発生する？

私たちはこの評価にOpenAIのChatGPTを使うことにしたよ。訓練データは入手できないから、LLMが以前にデータを見たことがないことを確認するために新しいデータセットを調べるよ。

#知識グラフの概観

知識グラフは、コンピュータが理解できる方法で情報を表現するために長年使われてきた。大手企業が登場した2010年代初頭には、彼らの使用がより顕著になった。WikiDataは、大規模なデータを集めて編集できる一般的な知識グラフの例だ。

知識グラフでは、エンティティ（ノード）が関係でつながってる。WikiDataでは、これらの関係はプロパティと呼ばれてる。プロパティは、ソースとターゲットと組み合わせることでトリプルを形成する。

#知識グラフをテキストに変換する

知識グラフから人間が読めるテキストにデータを翻訳することは、時々KG-to-textまたはグラフ-to-text生成と呼ばれる。WebNLGチャレンジは、これらのタスクを評価する重要なイベントで、特にテストに向けて作られたデータセットがあるんだ。

#歴史的背景

以前の時代では、テンプレートベースのアプローチが特定の分野に対して成功裏にテキストを生成してた。しかし、これらのテンプレートは創造性や意図した使用を超えた適用を制限することがあるんだ。技術が進歩するにつれて、研究者たちはデータから学習するより洗練されたモデルを開発してきたんだ。

#評価アプローチ

KG-to-text生成の出力を評価するために、さまざまなメトリクスが提案されてる。BLEU、METEORなどのメトリクスは、生成されたテキストが参考テキストとどれだけ一致しているかを測定する異なる側面を評価するんだ。これらのメトリクスは、生成されたテキストが期待される出力とどれだけ一致しているかを評価するのに役立つよ。

#WebNLG 2020チャレンジにおけるLLMのパフォーマンス

WebNLG 2020チャレンジでは、参加者がKGトリプルを自然言語に変換するモデルを訓練する課題を与えられた。データセットには、英語とロシア語のトリプルのセットが含まれていて、さまざまなパフォーマンスメトリクスを使ってエントリーを評価していたよ。

#OpenAIのChatGPTの利用

私たちの実験にはChatGPTを使用したんだけど、これはLLMの代表的な例だからなんだ。トリプルを明確なテキストに変換するためのプロンプトを構成し、不要な情報を省くようにしたよ。評価では、英語とロシア語のデータセットの両方にプロンプトを適用した。

#WebNLGチャレンジにおけるChatGPTの結果

ChatGPTを英語のWebNLG 2020テストセットに適用した時、結果はさまざまなメトリクスで評価されたよ。ChatGPTは一部の領域で競争力のあるパフォーマンスを示したけど、他の領域では顕著な弱点があった。

#他のモデルとの比較

ChatGPTのパフォーマンスは、異なるメジャーでばらつきがあった。METEORスコアではかなりの能力を見せたけど、BLEUやTERのメトリクスでは遅れをとってた。BLEUスコアが低いということは、意味内容は似ていたけど、具体的な言い回しが参考翻訳と大きく異なることが多いってことだ。

ロシアのテストセットでは、ChatGPTは英語の時より大幅にパフォーマンスが低かった。メトリクスはロシア語を扱う際の困難を示していて、追加の要因がパフォーマンスに影響している可能性を示唆してるよ。

#KGsにおける事実性の影響を評価する

KGトリプルの真実性が出力の質にどのように影響するかを理解するために、WikiDataを使用して自分たちのデータセットを作成した。このアプローチにより、LLMが以前にデータを遭遇していないことを確保したんだ。

#事実、フィクション、反事実のグラフ

各事実グラフについて、1つのフィクションバージョンと1つの反事実バージョンを作成した。これにより、LLMがこれらの異なるタイプの知識をどれだけよく表現するかを分析できたよ。事実グラフはコントロールとして機能し、2つの新しいグラフがLLMの限界をテストした。

#生成されたテキストの分析

異なるタイプの知識グラフから生成されたテキストを、文法、コヒーレンス、トリプルのカバー率に基づいて評価した。複数の評価者が評価尺度を使って出力をレビューしたよ。

#文法とコヒーレンスのレビュー

分析の結果、異なる条件間で文法とコヒーレンスの平均評価が示されたよ。事実データに対しては、生成されたテキストが明確で構造が整ってると評価されることが多かった。しかし、反事実の応答は低いコヒーレンス評価を引き出し、生成されたテキストに混乱が見られることを示していた。

#トリプルのカバー率

私たちは、生成されたテキストが各トリプルの真実性をどれだけカバーしているかを見たよ。評価者は、各トリプルを存在する、存在しない、または幻覚として分類した。この系統的アプローチは、出力の質と正確性を判断するのに役立ったんだ。

#トリプルカバー率に関する発見

私たちの発見では、異なるタイプのグラフがどれだけ表現されているかに違いがあったよ。事実グラフはより多くの存在するトリプルを持っていたけど、フィクショングラフはより多くの存在しないトリプルを持つことが多かった。この傾向は、データの性質が出力の質に大きく影響することを強調しているんだ。

#生成されたテキストの幻覚

生成されたテキストは、元のトリプルにない追加情報もレビューされたよ。LLMは洞察に富んだ応答を生成したけど、情報が余分に含まれている幻覚のケースも記録され、出力の信頼性に影響を及ぼしてた。

#結論

ChatGPTのようなLLMは、事前の訓練なしに知識グラフからテキストを生成する可能性を示してる。でも、幻覚やカバー率の問題があるから、その有用性に影響を及ぼすことがあるんだ。モデルが進化を続ける中で、異なる言語を扱う際の改善や情報の正確な表現が求められるよ。

#将来の考察

より進んだLLMが開発されるにつれて、継続的な評価が必要になるんだ。これらのモデルがさまざまな情報タイプとどのように相互作用するかを理解することで、将来の改善の指針になるかもしれない。さらに、既存の制限に対処したり、知識グラフからテキストを生成する際の最適な実践を探ったりする研究が必要だね。また、生成されたテキストをより良く注釈する方法は、これらのシステムの能力や課題についての深い洞察を得るのに繋がるかもしれない。