知識グラフ埋め込みに対する非対立的攻撃の評価

ナレッジグラフ（KG）は、情報を構造的に表現するために使われる。KGは、さまざまな情報のつながりを示す地図みたいなもので、各接続はトリプルと呼ばれ、2つの事柄（エンティティ）とそれらの関係で構成されてる。例えば、「アインシュタイン」「bornIn」「ウルム」みたいなトリプルがKGにあって、アインシュタインがウルムで生まれたって意味だ。

コンピュータにKGを理解させやすくするために、研究者たちはナレッジグラフ埋め込み（KGE）って方法を作った。これにより、KGの構造化された情報がコンピュータが扱いやすい形式に変わる。情報を連続ベクトル空間に配置して、グラフの点を置くみたいな感じ。このおかげで、検索エンジンや推薦システムなどがKGの情報を利用できるようになる。

でも、ちょっと問題がある。ほとんどのKGEの方法はKGの情報が正しいと仮定してる。この仮定のせいで、悪意のあるユーザーが結果に干渉するチャンスが生まれてしまう。例えば、誰かがKGのデータを変更すると、システムの出力が間違ったものになる可能性がある。だから、こういう攻撃に対してどれだけ頑丈かを考えるのが重要なんだ。

#攻撃の種類

KGEsに対する攻撃には、敵対的攻撃と非敵対的攻撃の2つの主要なタイプがある。敵対的攻撃は、特定の目標を達成するためにKGのデータを意図的に操作することだ。逆に、非敵対的攻撃は特定のターゲットなしでデータを変更し、KGEのパフォーマンスを乱すことがある。

#敵対的攻撃

多くの研究者がKGEsの敵対的攻撃を調べてきた。こういう攻撃は、データポイズニングを含むことが多くて、攻撃者が特定のトリプルを追加したり削除したりしてKGEの挙動を操作する。目的は、特定の情報が真実である可能性を示すプラウスビリティスコアを変えること。攻撃は特定の情報を選んで標的にすることもあれば、KGE全体のパフォーマンスを低下させるように一般的に行われることもある。

#非敵対的攻撃

敵対的攻撃とは違って、非敵対的攻撃は特定のターゲットに焦点を当てない。KGのデータのどの部分でも変更でき、KGEで使われるパラメータも変更可能。つまり、攻撃者は特定の情報に集中せずに、全体のシステムの動作を妨害することができる。このタイプの攻撃は、特定の出力を操作するのではなく、サービスを遅くしたり妨げたりすることを主な目的とする、サービス妨害攻撃に似ている。

KGEsの文脈では、非敵対的攻撃は敵対的攻撃ほど詳しく研究されていない。KGEの方法は重要な分野で重視されているから、これらの方法が非敵対的攻撃にどのように反応するかを理解するのは重要だ。この記事は、さまざまな非敵対的攻撃が先進的なKGEアルゴリズムのパフォーマンスにどのように影響するかを明らかにすることを目指している。

#方法論

この研究では、5つの異なるKGEアルゴリズムを3種類の非敵対的攻撃に対して5つのデータセットでテストした。3つの具体的な攻撃タイプは、入力データの変更、出力ラベルの変更、モデルパラメータの修正を含む。

#攻撃の表面

1. グラフの摂動：この攻撃では、KGの入力データが変更される。特定の割合のトリプルがランダムに選ばれ、その要素（ヘッドエンティティか関係のどちらか）が変更される。これはKGが表す知識にノイズを加えることを模擬している。

2. ラベルの摂動：このタイプの攻撃では、トリプルに関連する出力ラベルが変更される。例えば、トリプルが正しい関係を示している場合、それが反転して間違った情報を提示することになる。こうした変更は学習プロセスに深刻な妨害を引き起こし、KGEのパフォーマンスを悪化させる。

3. パラメータの摂動：この場合、モデルの内部パラメータが変更される。これらのパラメータを変更すると、同じ入力に対してKGEが異なる結果を出すことができ、学習プロセス中に混乱を引き起こす可能性がある。

これら3つの攻撃の表面に焦点を当てることで、異なるKGEアルゴリズムがシステム内の乱れにどのくらい対応できるかを評価できた。

#データセット

KGEアルゴリズムのパフォーマンスを評価するために、5つの異なるデータセットを使用した。各データセットには、異なるドメインを表すユニークなエンティティと関係が含まれている：

1. UMLS：135のエンティティと46の関係を含む小さな医療データセット。
2. KINSHIP：アリャワラ族内の関係を説明するデータセットで、25種類の関係が含まれている。
3. WN18RR：リンク予測タスク用に使用されるWordNetのバージョンで、より大きなエンティティと関係のセットが含まれている。
4. NELL-995-h100：さまざまなエンティティと関係を持つNever-Ending Language Learningデータセットのサブセット。
5. FB15k-237：Freebaseナレッジグラフの小さなサブセット。

異なるサイズと関係のデータセットを使用することで、さまざまな文脈でKGEアルゴリズムが非敵対的攻撃にどのように反応するかを確認できた。

#KGEアルゴリズム

5つの最先端KGEアルゴリズムをテストした。それぞれ異なる方法で知識を埋め込んでいる：

1. DistMult：このアルゴリズムはシンプルな乗算を使って埋め込みを作成する。
2. ComplEx：DistMultの拡張版で、より良い表現のために複素数を組み込んでいる。
3. QMult：四元数代数を用いて関係を処理する。
4. MuRE：前のモデルを改善した最近のモデル。
5. Keci：クリフォード埋め込みに焦点を当てたアルゴリズム。

これらのアルゴリズムは知識の表現方法が異なり、非敵対的攻撃に対してさまざまな反応を示す。

#評価結果

#グラフの摂動結果

グラフの摂動の結果、摂動のレベルが上がるにつれて、KGEアルゴリズムのパフォーマンスが一般的に低下することが分かった。例えば、いくつかのデータセットでは、摂動レベルが32%または64%に達すると、平均逆順位（MRR）が大きく低下した。

• UMLSデータセットでは、DistMultアルゴリズムのパフォーマンスが、摂動なしのMRRが0.822から64%の摂動で0.748に減少した。
• FB15k-237データセットでも同様の傾向が見られ、すべてのモデルが高い摂動レベルで一貫してパフォーマンスが低下した。

興味深いことに、グラフの摂動の影響はすべてのデータセットで均一ではなかった。NELL-995-h100データセットのような場合では、特定のKGEモデルがパフォーマンスを向上させた後に低下することがあり、低い摂動レベルが時には有益に働くことがあることを示している。

#ラベルの摂動結果

ラベルの摂動は、グラフの摂動と比べてKGEアルゴリズムのパフォーマンスにより深刻な影響を与えた。ラベルのわずかな変更でも、MRRが劇的に低下した。例えば、UMLSやKINSHIPのような小さなデータセットでは、8%の摂動率に達するやいなやパフォーマンスが急落し始めた。

• 大きなデータセットでは、僅か0.1%の摂動率でもすべてのKGEモデルに対してMRRがほぼ完全に劣化することがあった。

この重大な影響は、ラベルの摂動の性質に起因していて、単にラベルを反転させることで多くの間違ったトリプルがトレーニングデータに追加され、モデルの学習プロセスを圧倒してしまうためだ。

#パラメータの摂動結果

パラメータの摂動もKGEのパフォーマンスに顕著な低下を示した、特に小さなデータセットで。KGEモデルはパラメータが変更されたときに致命的な脆弱性を示した。例えば、UMLSデータセットでは、1%や2%の小さな摂動率でも即座にパフォーマンスが低下した。

対照的に、大きなデータセットでは、モデルが同様のパフォーマンス低下を経験するにはより高い摂動比率が必要だった。この不一致は、大きなデータセットでトレーニングされたモデルがより頑丈な埋め込み空間を持っており、パフォーマンスに影響を与えるためにはより大きな変更が必要であることを示唆している。

#結論

この研究の結果は、非敵対的攻撃がKGEアルゴリズムのパフォーマンスに大きく影響することを示している。3つの攻撃タイプの中で、ラベルの摂動が最も破壊的で、その次にパラメータとグラフの摂動が続いた。

KGが重要なアプリケーションでますます使われるようになっているので、彼らの脆弱性を理解することが重要だ。今後の研究は、さまざまな攻撃に効果的に対処できるより頑丈なKGEモデルの開発に焦点を当てるべきだ。

また、見解としては小さな摂動をモデルの学習を強化する手段として活用できる可能性がある。これは、通常の条件下でもうまく機能するだけでなく、変化に素早く適応し、予期しない課題に対しても耐えられるKGEシステムを作るために興味深い可能性を提供する。

最後に、将来の研究では、非敵対的攻撃についてさらに掘り下げ、KGEモデルの頑丈さと信頼性を高めることが重要だ。特に、ますますデータ主導の世界に依存するようになってきている今、そういった研究が求められる。