新しいサブサンプリング手法で知識グラフの補完を改善する

ナレッジグラフ（KG）は、人や場所みたいなエンティティをつなげて、その関係を示すのに役立つツールだよ。チャットボット、検索エンジン、おすすめシステムなどでよく使われてる。ただ、これらのグラフを作ったり維持したりするのは大変でお金もかかる。エンティティ間の関係を手動で追加しなきゃいけないからね。ナレッジグラフ補完（KGC）は、この問題を解決するために、既に知られている情報に基づいて欠けている関係を自動的に予測することを目指してる。

KGCでは、モデルがエンティティのペアを見て、その間に関係があるかどうかを予測しようとする。例えば、「アリスはボブの友達だ」というのが分かってたら、モデルは「ボブもアリスの友達だ」と予測するかもしれない。これを効率的にやるために、KGCモデルはナレッジグラフ埋め込み（KGE）という手法を使うことが多くて、エンティティと関係を数値ベクトルとして表現する。このアプローチはモデルがデータを理解して処理するのを助けるんだ。

#効率的なサンプリングの必要性

多くのKGでは、データがまばらで、エンティティはたくさんあるけど、関係が足りないことがある。このまばらさがモデルの過剰適合を引き起こすことがあって、データの雑音を学習しちゃうんだ。これを克服するために、サブサンプリング法が使われて、モデルが学ぶデータの量を減らすんだ。これらの方法は、よく出るクエリの数を制限することに焦点を当てて、モデルがあまり一般的じゃないけど重要な関係にもっと注意を払えるようにする。

ただ、従来のサブサンプリング法は、たとえその関連エンティティが高頻度でも、あまり出ないクエリを見落としがちだ。これが、こういったレアな関係が実際に存在する可能性を過小評価しちゃうことにつながるのは、KGCのパフォーマンスを向上させるには理想的じゃない。

#提案された解決策

この課題に対処するために、モデルベースのサブサンプリング（MBS）とミックスサブサンプリング（MIX）という2つの新しいサブサンプリング法が導入された。MBSは、KGEモデルからの予測を使って各クエリがどれくらい頻繁に出現するかを改善する。観察データだけに頼るんじゃなくて、モデルが学習したことを活用して、まれなクエリの出現確率をより良い推定を提供する。

一方、MIXは従来のカウントベースのサブサンプリングとモデルベースの予測の強みを組み合わせる。これらのアプローチを統合することで、全体的なパフォーマンスを向上させつつ、欠点を最小限に抑えようとしてる。この組み合わせによって、データのバランスの取れた見方ができて、KGCプロセスに役立つんだ。

#手法の評価

MBSとMIXの効果を示すために、FB15k-237、WN18RR、YAGO3-10の3つの標準データセットを使って評価を行った。ローテート（RotatE）、トランスE（TransE）、HAKE、コンプレックス（ComplEx）、ディストマルト（DistMult）など、いくつかのKGEモデルがこれらの新しいサブサンプリング法でテストされた。

結果は、MBSとMIXの両方がこれらのKGEモデルのKGタスク完了パフォーマンスを大幅に向上させたことを示した。特に、MBSまたはMIXを使用したモデルは、データセット全体で平均逆ランキング（MRR）やヒット率が高く、これらの新しい方法がKGCの精度を効果的に向上させることができると証明された。

#サブサンプリングアプローチの重要性

MBSとMIXは、まばらなデータセットがもたらす課題に焦点を当ててる。KGでは、異なるクエリの出現頻度がバランスよく分布してることが、正確な予測には重要なんだ。従来の方法は頻繁に出るクエリに重くフォーカスしがちで、バイアスがかかって重要な関係を学ぶ機会を逃すことになる。

MBSを使うことで、KGEモデルの予測能力が強化され、学習した表現に基づいてクエリの推定頻度を考慮する。一方で、MIXは推定された頻度とカウントされた頻度の両方を利用できるから、より広範囲の関係を捉える二重戦略を提供している。

#結果の分析

実験からは、さまざまなKGEモデルのパフォーマンスに関する興味深いインサイトが得られた。関係がまばらなデータセットでは、MBSとMIXが従来の方法よりも良い結果を出した。このことは、これらの新しい方法が十分なデータポイントがないデータセットの課題に特に有益であることを示してる。

例えば、まばらなことで知られるFB15k-237データセットでは、MBSとMIXを使用したモデルが、カウントベースのサブサンプリングだけに頼った他のモデルと比べて最高の結果を達成した。発見は、KGがまばらになるほど、これらの新しい方法を使う利点が際立つということを示唆してる。

ただし、既存のカウントベースの方法がMBSとMIXよりも良い結果を出すこともあったってことも指摘されてる。この違いは、MBSメソッドで選ばれたサブモデルに依存してるからなんだ。選んだモデルのパフォーマンスが全体の結果に影響を与えることがあるから、最適なパフォーマンスを達成するためのモデル選択が大事だってわかる。

#結論

モデルベースのサブサンプリングとミックスサブサンプリングの導入は、ナレッジグラフ補完の分野での promising な進展を示してる。まれなクエリの出現頻度を推定する新しい方法を提供し、以前の方法の利点を組み合わせることで、まばらなデータの課題に対処するためのより包括的な解決策を提供してる。

これらの発見は、サブサンプリング方法と基盤となるKGEモデルの慎重な選択の重要性を強調してる。KGCパフォーマンスを向上させる能力は、理論的な意味だけじゃなくて、実際のアプリケーションにおいても実用的な利益をもたらすんだ。

今後、これらの方法がより大きなデータセットや他のタイプの深層学習モデルでどのように機能するかを評価するためのさらなる研究が必要になるだろう。分野が進化し続ける中で、これらの新しい技術はナレッジグラフを最大限に活用し、さまざまなアプリケーションでの有用性を高めるための貴重なステップを提供してる。