大規模言語モデルを活用した知識グラフの構築

大規模言語モデル（LLM）は、情報の扱い方を変えつつあるんだ。テキストの理解や分類、名前の認識といった様々なタスクをこなせるんだよ。最近では、OpenAIのChatGPTやGPT-4がこのタスクでとても効果的だってことが証明されてる。今は、どうやってこれらのモデルにうまく指示を出してベストな結果を得るかが主な焦点になってる。

知識グラフは、機械が事実を理解して推論できるように情報を表現する方法なんだけど、これを作るのは自動でも人手でも複雑なんだ。Wikidataは、実世界のエンティティに関する情報が満載の最大級の知識グラフの一つで、多くの人の貢献によって築かれてきたんだよ。

過去の研究では、LLMを使って知識グラフを構築することに注目してたけど、最近のLLMの進展が新たな関心を呼んでるんだ。LLMは知識工学に対して大きな可能性を秘めてるけど、知識グラフとは重要な違いがある。知識グラフは厳格なルールで事実を保存するけど、LLMは必ずしも論理的な推論を同じように理解するわけじゃないんだ。

さらに、LLMは主に公開データを元に訓練されてて、人気のあるトピックには詳しいけど、あまり知られてないトピックには情報が少なかったりする。今回の研究は、ISWC 2023 LM-KBCチャレンジに焦点を当てて、LLMが知識工学にどう活用できるかを明らかにすることを目指してるんだ。

#チャレンジの内容は？

このチャレンジは、Wikidataから取った主題エンティティと関係に基づいてオブジェクトエンティティを予測することだったんだ。例えば、主題が「Robert Bosch LLC」で関係が「CompanyHasParentOrganisation」の場合、関連するオブジェクト、「Robert Bosch」を予測して、対応するWikidataのIDとリンクするタスクなんだ。

これに取り組むために、私たちは2つのトップパフォーマンスのLLM、gpt-3.5-turboとGPT-4を使ったんだ。いろんなアプローチを試して、マクロ平均F1スコア0.701を達成したんだけど、パフォーマンスは調べた関係のタイプによって異なったんだ。一部の関係では満点のスコアもあったけど、他はあまり良くなかったりした。

#知識プロービングに関する関連研究

LLMが知識集約的なタスクをどれだけ扱えるかについての研究はたくさんあるよ。以前の研究では、言語モデルを使って知識グラフを構築したり完成させたりすることを調査してたんだ。一例として、初期の研究LAMAでは、特定のプロンプト形式を使ってLLMから事実を引き出そうとしたんだ。最近の努力では、LLMのこれらのタスクでの使用についてさらに分析してるんだ。

その結果、LLMが知識関連タスクでどうパフォーマンスを出すかを評価するための新しいベンチマークやデータセットがたくさん作られてるよ。これらのベンチマークは、知識グラフからの情報を使って質問に答えたり、事実を完成させたりするいろんなシナリオをカバーしてる。LAMAは数多くの知識ソースから構築された先駆的なデータセットの一つで、LLMの能力を評価する上での改善のインスピレーションにもなってるんだ。

#私たちの方法を説明する

私たちのタスクは、主題と関係に基づいてオブジェクトのセットを予測することだったんだ。知識プロービングとWikidataへのエンティティマッピングという2つの主要なステップからなるパイプラインを構築したんだ。

#知識プロービング

プロービングのステップでは、LLMから知識を集めるために具体的なプロンプトテンプレートを作ったんだ。3つの異なる設定を試したよ：

1. 質問プロンプティング: ここでは、LLMに直接質問したんだ。「ブラジルと国境を接している国はどこ？」みたいに。

2. トリプル完成プロンプティング: この設定では、不完全なトリプルを提供して、「River Thames, RiverBasinsCountry:」といった感じでモデルに空欄を埋めてもらったの。

3. コンテキスト補助プロンプティング: ここでは、質問に加えて追加のコンテキストを提供して、モデルがより良い予測をするのを助けたんだ。

コンテキストを使うときは、まずLLMに自分の知識に基づいて予測させて、その後に関連情報を提示して再評価させたよ。

どの場合も、LLMが応答の期待されるフォーマットをよりよく理解できるように例を含めてた。

#Wikidataエンティティマッピング

次のステップは、予測したオブジェクト文字列をWikidataの実際のエンティティにマッチさせることだったんだ。プラットフォームが提供するAPIを使って、ラベルやエイリアスに基づいて可能なマッチを探して、その後、正しいエンティティを慎重に選んだんだ。これには、選択プロセスを洗練するための改善方法を考案したよ：

• ケースベースメソッド: 回答空間が小さいケースの扱いに特化した方法。

• キーワードベースメソッド: この方法では、候補の説明を見て関連するキーワードにマッチさせた。

• 言語モデルベースアプローチ: ここでは、候補IDの辞書を作って、より複雑な区別に基づいて正しいエンティティを選ぶのにLLMを頼ったんだ。

#研究の結果

私たちの研究では、音楽、地理、スポーツのように異なるドメインをカバーするさまざまな関係タイプからなるLM-KBCチャレンジのデータセットを使ったんだ。それぞれのセットには、トレーニング、バリデーション、テスト用に1,940の文が含まれてた。

評価では、GPT-4がgpt-3.5-turboよりも優れてたよ。外部コンテキストを使わせたときは、特にgpt-3.5-turboのパフォーマンスが向上することが多かったけど、GPT-4にとっては追加のコンテキストが常に良い結果をもたらすわけじゃなかったんだ。

観察結果から見ると、LLMは限られたドメインの関係ではよく機能したけど、より広いトピックが関与する関係では苦労してたよ。例えば、「PersonHasNobelPrize」には効果的に対応したけど、「PersonHasEmployer」では、多くの個人に関する情報が少ないため難しさがあったと思う。

#Wikidataと知識のギャップに関する議論

Wikidataを扱う中で、保存されている情報の質に関して問題があることもわかったんだ。一部のエンティティには必要な詳細が欠けてて、多くのエントリが特定の制約に従ってないこともあった。この不完全さは、LLMがWikidataの質を向上させるために欠けている情報を提案する手助けができる可能性を意味してるよ。

さらに、WikipediaとWikidataの間に知識のギャップがあって、これがモデルのパフォーマンスの不一致を引き起こすことも見つけたんだ。一部の関係では、Wikipediaの情報の方がWikidataよりも新しいか正確だったりする。このギャップは、LLMがデータを最新の状態に保つのを手助けできる役割を示してる。

#結論

この研究は、ISWC 2023 LM-KBCチャレンジを通じて知識グラフのためのオブジェクトを予測する上でのLLMの可能性を示すことを目的としてたんだ。目を引く結果を達成して、私たちの最善の方法はさまざまな関係にわたって平均0.7007のスコアに達したんだ。LLMは知識ベースを完成させるための貴重なツールになり得るけど、データの正確性を確保するためには人間の介入が必要だってことも強調される結果になったよ。

この結果は、LLMが人間の編集者と協力して、知識システムの情報の質や完全性を高める方法をさらに探求することを促してるんだ。