Valutare attacchi non avversariali sugli embedding di grafi conoscitivi

I Grafi di conoscenza (KG) servono a rappresentare le informazioni in modo strutturato. Mostrano come diversi pezzi di informazioni si collegano tra loro, come una mappa che mostra le connessioni tra vari luoghi. Ogni connessione, chiamata tripla, consiste di due cose (entità) e una relazione tra di esse. Per esempio, in un KG, potresti trovare una tripla come "Einstein" "natoIn" "Ulm," che significa che Einstein è nato a Ulm.

Per rendere più facile ai computer capire e usare i KG, i ricercatori hanno creato metodi chiamati Embeddings di Grafi di Conoscenza (KGE). Questi metodi trasformano le informazioni strutturate dei KG in un formato che i computer possono gestire più facilmente. Posizionano le informazioni in uno spazio vettoriale continuo, un po' come mettere dei puntini su un grafico. Questo permette a varie applicazioni, come motori di ricerca o sistemi di raccomandazione, di utilizzare le informazioni presenti nei KG.

Ma c'è un problema. La maggior parte dei metodi usati nei KGE presume che le informazioni nel KG siano corrette. Questa assunzione crea un’opportunità per utenti malintenzionati di interferire con i risultati prodotti da questi metodi. Per esempio, se qualcuno modifica i dati nel KG, potrebbe portare a risposte o risultati errati da questi sistemi. Pertanto, è importante considerare quanto siano robusti questi metodi contro gli attacchi.

#Tipi di Attacchi

Ci sono due tipi principali di attacchi contro i KGE: Attacchi Avversariali e attacchi non avversariali. Gli attacchi avversariali sono sforzi mirati a manipolare i dati in un KG per raggiungere un obiettivo specifico, come far sembrare vera un'informazione falsa. D'altra parte, gli attacchi non avversariali comportano la modifica dei dati senza un obiettivo specifico in mente, il che può comunque disturbare le prestazioni del KGE.

#Attacchi Avversariali

Molti ricercatori hanno studiato gli attacchi avversariali sui KGE. Questi attacchi spesso coinvolgono il poisoning dei dati, dove gli attaccanti aggiungono o rimuovono specifiche triple per manipolare il funzionamento del KGE. L'obiettivo è cambiare i punteggi di plausibilità, che indicano quanto sia probabile che un certo pezzo di informazione sia vero. Gli attacchi possono essere mirati selezionando un'informazione particolare o possono essere più generali, mirando a degradare le prestazioni del KGE nel suo insieme.

#Attacchi Non Avversariali

A differenza degli attacchi avversariali, gli attacchi non avversariali non si concentrano su un obiettivo specifico. Potrebbero alterare qualsiasi parte dei dati nel KG o i parametri usati nel KGE. Questo significa che un attaccante potrebbe disturbare il funzionamento dell'intero sistema senza bisogno di concentrarsi su un'informazione specifica. Questo tipo di attacco può essere simile a un attacco di negazione del servizio, dove l'obiettivo è rallentare o disturbare un servizio piuttosto che manipolare output specifici.

Nel contesto dei KGE, gli attacchi non avversariali non sono stati studiati approfonditamente come quelli avversariali. Poiché i metodi KGE sono molto utilizzati in aree critiche, è fondamentale capire come questi metodi rispondono agli attacchi non avversariali. Questo articolo mira a chiarire come diversi attacchi non avversariali influenzano le prestazioni di vari algoritmi KGE all'avanguardia.

#Metodologia

In questo studio, abbiamo testato cinque diversi algoritmi KGE contro tre tipi di attacchi non avversariali su cinque dataset. I tre tipi specifici di attacco comprendevano la modifica dei dati in input, l'alterazione delle etichette di output e la modifica dei parametri del modello.

#Superfici di Attacco

1. Perturbazione del Grafico: In questo attacco, i dati di input dal KG vengono alterati. Una certa percentuale di triple viene selezionata casualmente e alcuni dei loro elementi (o l'entità principale o la relazione) vengono cambiati. Questo simula l'aggiunta di rumore alla conoscenza rappresentata dal KG.

2. Perturbazione delle Etichette: Questo tipo di attacco implica l'alterazione delle etichette di output associate alle triple. Per esempio, se una tripla afferma correttamente una relazione, potrebbe essere invertita per presentare informazioni false. Questo cambiamento può disturbare gravemente il processo di apprendimento, portando a scarse prestazioni del KGE.

3. Perturbazione dei Parametri: In questo caso, i parametri interni del modello vengono modificati. Cambiando questi parametri, il KGE può fornire risultati diversi per lo stesso input, il che può portare a confusione durante il processo di apprendimento.

Concentrandoci su queste tre superfici di attacco, siamo stati in grado di valutare quanto bene diversi algoritmi KGE possono gestire le perturbazioni nei loro sistemi.

#Dataset

Abbiamo utilizzato cinque diversi dataset per valutare le prestazioni degli algoritmi KGE. Ogni dataset contiene un insieme unico di entità e relazioni, rappresentando diversi domini:

1. UMLS: Un piccolo dataset medico che contiene 135 entità e 46 relazioni.
2. KINSHIP: Questo dataset descrive relazioni all'interno della tribù Alyawarra e include 25 tipi di relazione.
3. WN18RR: Una versione di WordNet usata per compiti di previsione dei collegamenti, contenente un insieme più ampio di entità e relazioni.
4. NELL-995-h100: Un sottoinsieme del dataset di Apprendimento Linguistico Mai Finito con una varietà di entità e relazioni.
5. FB15k-237: Un sottoinsieme più piccolo del grafo di conoscenza Freebase.

Usando più dataset di diverse dimensioni e relazioni, abbiamo potuto vedere come gli algoritmi KGE reagivano agli attacchi non avversariali in vari contesti.

#Algoritmi KGE

Abbiamo testato cinque algoritmi KGE all'avanguardia, ognuno dei quali utilizza un approccio diverso per incorporare la conoscenza:

1. DistMult: Questo algoritmo utilizza semplici moltiplicazioni per creare embeddings.
2. ComplEx: Un'estensione di DistMult che incorpora numeri complessi per una migliore rappresentazione.
3. QMult: Questo gestisce le relazioni usando l'algebra quaternion.
4. MuRE: Un modello più recente che migliora sui precedenti.
5. Keci: Un algoritmo focalizzato sugli embeddings di Clifford.

Questi algoritmi variano nel modo in cui rappresentano la conoscenza, fornendo una gamma di risposte agli attacchi non avversariali.

#Risultati della Valutazione

#Risultati della Perturbazione del Grafico

I risultati della perturbazione del grafico hanno mostrato che man mano che il livello di perturbazione aumentava, le prestazioni degli algoritmi KGE tendevano a declinare. Per esempio, su diversi dataset, quando il livello di perturbazione raggiungeva il 32% o il 64%, il Mean Reciprocal Rank (MRR) calava significativamente.

• Nel dataset UMLS, le prestazioni dell'algoritmo DistMult sono diminuite da un MRR di 0.822 senza perturbazione a 0.748 al 64% di perturbazione.
• Il dataset FB15k-237 ha mostrato una tendenza simile, dove tutti i modelli hanno evidenziato cali di prestazione coerenti a livelli di perturbazione più elevati.

Curiosamente, l'effetto della perturbazione del grafico non era uniforme su tutti i dataset. In alcuni casi, come nel dataset NELL-995-h100, certi modelli KGE hanno mostrato un miglioramento delle prestazioni prima di calare, indicando che livelli più bassi di perturbazione possono a volte agire in modo benefico, fungendo da regolarizzatore.

#Risultati della Perturbazione delle Etichette

La perturbazione delle etichette ha avuto un impatto più grave sulle prestazioni degli algoritmi KGE rispetto alla perturbazione del grafico. Anche cambiamenti minimi nelle etichette hanno portato a crolli drammatici nel MRR. Per esempio, in dataset piccoli come UMLS e KINSHIP, abbiamo notato che le prestazioni hanno iniziato a crollare dopo aver raggiunto un tasso di perturbazione dell'8%.

• Nei dataset più grandi, anche un tasso di perturbazione dello 0.1% poteva causare una degradazione quasi completa del MRR per tutti i modelli KGE.

Questo impatto significativo è dovuto alla natura della perturbazione delle etichette, dove semplicemente capovolgere le etichette aggiunge una moltitudine di triple errate nei dati di addestramento, sopraffacendo il processo di apprendimento del modello.

#Risultati della Perturbazione dei Parametri

La perturbazione dei parametri ha mostrato anche un calo notevole nelle prestazioni KGE, specialmente nei dataset più piccoli. I modelli KGE hanno rivelato una vulnerabilità critica quando i parametri venivano alterati. Per esempio, anche piccole percentuali di perturbazione dell'1% o 2% nel dataset UMLS portavano a cali immediati delle prestazioni.

Al contrario, nei dataset più grandi, i modelli avevano bisogno di rapporti di perturbazione più alti per subire simili degradazioni delle prestazioni. Questa incoerenza suggerisce che i modelli addestrati su dataset più grandi hanno uno spazio di embedding più robusto, il che richiede cambiamenti più significativi per influenzare le prestazioni.

#Conclusione

I risultati di questo studio mostrano che gli attacchi non avversariali influenzano significativamente le prestazioni degli algoritmi KGE. Tra i tre tipi di attacchi, la perturbazione delle etichette si è rivelata la più disruttiva, seguita dalle Perturbazioni dei Parametri e del grafico.

Dato che i KG vengono utilizzati sempre di più in applicazioni critiche, capire le loro vulnerabilità diventa fondamentale. La ricerca futura dovrebbe concentrarsi sullo sviluppo di modelli KGE più robusti in grado di gestire efficacemente vari tipi di attacchi.

I risultati suggeriscono anche la possibilità di utilizzare piccole perturbazioni come un modo per migliorare l'apprendimento del modello agendo da regolarizzatori. Quest'area offre un potenziale interessante per ulteriori esplorazioni, con l'obiettivo di creare sistemi KGE che non solo funzionano bene in condizioni normali, ma che possano anche adattarsi rapidamente ai cambiamenti e resistere a sfide inaspettate.

Infine, è cruciale che i futuri studi approfondiscano gli attacchi non avversariali, mirando a migliorare la robustezza e l'affidabilità dei modelli KGE, specialmente mentre continuiamo a fare affidamento su di essi in un mondo sempre più guidato dai dati.