BlindSage: Eine Bedrohung für vertikales föderiertes Lernen

In den letzten Jahren ist das föderierte Lernen zu einem wichtigen Ansatz geworden, um Machine-Learning-Modelle zu trainieren und dabei die Daten privat zu halten. Diese Methode ermöglicht es mehreren Parteien, zusammenzuarbeiten, um Modelle zu erstellen, ohne ihre Rohdaten zu teilen. Im föderierten Lernen gibt es verschiedene Arten von Setups. Eine der relevantesten ist das Vertikale föderierte Lernen (VFL), bei dem mehrere Parteien Datensamples teilen, aber unterschiedliche Merkmale für diese Samples haben.

Während das föderierte Lernen die Privatsphäre und Sicherheit verbessert, ist es nicht ohne Schwachstellen. Eine grosse Sorge ist, dass Angreifer sensible Informationen aus den geteilten Gradienten zwischen Clients und dem Server ableiten können. Dieses Papier beschäftigt sich mit diesem Problem und schlägt eine neue Methode zur Ableitung von Labels im VFL-Setup vor, insbesondere mit Graph Neural Networks (GNNs) für Aufgaben wie die Knotenklassifikation.

#Hintergrund

#Überblick über Föderiertes Lernen

Föderiertes Lernen ermöglicht es den Clients, ein Modell gemeinsam zu trainieren, ohne ihre privaten Datensätze zu teilen. Der zentrale Server sammelt Modellaktualisierungen von jedem Client, um ein globales Modell aufzubauen. Dieser Prozess umfasst typischerweise drei Schritte:

1. Globales Modell herunterladen: Die Clients laden das globale Modell vom Server herunter.
2. Lokales Training: Jeder Client aktualisiert das globale Modell, indem er es mit seinen lokalen Daten trainiert.
3. Aggregation: Die Clients senden ihre aktualisierten Modellgewichte zurück an den Server, der diese Updates dann aggregiert, um das globale Modell zu verbessern.

Dieser Ansatz hilft, die Datensicherheit zu wahren, da die Rohdaten niemals das Gerät des Clients verlassen.

#Vertikales Föderiertes Lernen

VFL ist eine spezielle Art des föderierten Lernens, bei dem jeder Client auf die gleichen Datenpunkte, aber unterschiedliche Merkmale zugreift. Zum Beispiel könnte in einem Gesundheitskontext ein Krankenhaus Patientendemografien haben, während ein anderes die medizinische Vorgeschichte hat. Im VFL werden sensible Labels oft von einer Partei privat gehalten, während andere ihre Merkmale für das Training nutzen.

VFL kann komplizierter sein als traditionelles föderiertes Lernen, da es potenzielle Sicherheitsrisiken birgt. Angreifer könnten die geteilten Gradienten ausnutzen, um sensible Informationen wie Klassifikationslabels von dem Client, der sie kontrolliert, abzuleiten.

#Graph Neural Networks

GNNs sind neuronale Netze, die dafür entwickelt wurden, mit Graphdaten zu arbeiten. Sie sind gut in Aufgaben, die relationale Daten betreffen, wie soziale Netzwerke oder molekulare Strukturen. GNNs aggregieren Informationen von benachbarten Knoten, um ihre eigenen Knotenrepräsentationen zu aktualisieren, was sie ideal für Aufgaben wie die Knotenklassifikation macht.

#Problembeschreibung

Trotz der Fortschritte im föderierten Lernen wurde festgestellt, dass VFL Schwachstellen hat, die ausgenutzt werden können. Jüngste Studien zeigen, dass Label-Ableitung-Angriffe sensible Informationen von passiven Clients extrahieren können. Solche Angriffe beruhen typischerweise auf Hintergrundwissen über die Labels, um effektiv zu sein. Diese Forschung schlägt eine neue Methode namens BlindSage vor, die Label-Ableitung-Angriffe durchführt, ohne vorheriges Wissen über die Labels zu benötigen.

#Der BlindSage-Angriff

Der BlindSage-Angriff ist eine ausgeklügelte Methode, die darauf abzielt, sensible Labels in einem VFL-Setup abzuleiten, insbesondere mit dem Fokus auf GNNs. Das Hauptmerkmal dieses Angriffs ist, dass er unter der Worst-Case-Annahme operiert, was bedeutet, dass der Angreifer kein Hintergrundwissen über die Labels oder die Architektur des Modells hat.

#Angriffs-Methodologie

Der Angriff umfasst mehrere Schritte:

1. Gradientensammlung: Der Angreifer sammelt Gradienten, die während des Trainingsprozesses vom Server gesendet werden.
2. Modell-Applikation: Der Angreifer erstellt eine angenäherte Version des Modells des Servers.
3. Generierung von adversarialen Gradienten: Der Angreifer generiert adversariale Gradienten unter Verwendung der lokalen Embeddings, die vom Server erhalten wurden.
4. Berechnung des Matching-Verlusts: Der Angreifer vergleicht seine generierten Gradienten mit den echten Gradienten vom Server, um die Labels abzuleiten.

Dieser Prozess ermöglicht es dem Angreifer, die Labels abzuschätzen, ohne das tatsächliche Modell zu kennen, das vom Server verwendet wird.

#Evaluation des BlindSage-Angriffs

Die Effektivität des BlindSage-Angriffs wurde mit verschiedenen Datensätzen und GNN-Architekturen bewertet. Die Ergebnisse zeigen, dass BlindSage hohe Genauigkeit bei der Ableitung von Labels erreichen kann, selbst wenn der Angreifer begrenzte oder keine Informationen über das Modell oder die Daten hat.

#Experimentelle Einrichtung

Um die Effektivität des BlindSage-Angriffs zu messen, wurden mehrere Experimente mit bekannten Datensätzen wie Cora, Citeseer und Pubmed durchgeführt. Unterschiedliche GNN-Architekturen wie Graph Convolutional Networks (GCNs) und Graph Attention Networks (GATs) wurden ebenfalls verwendet.

#Ergebnisse

1. Hohe Genauigkeit: Der BlindSage-Angriff zeigte in vielen Szenarien fast perfekte Genauigkeit. Selbst wenn der Angreifer kein Vorwissen hatte, blieb die Genauigkeit über einem bestimmten Schwellenwert.
2. Robustheit: Der Angriff hielt die Leistung über mehrere Datensätze und unter unterschiedlichen Bedingungen aufrecht, was sein Potenzial als erhebliche Bedrohung für die Privatsphäre von VFL-Systemen zeigt.

#Milderungsstrategien

Angesichts der durch den BlindSage-Angriff offenbarten Schwächen ist es wichtig, Milde-Strategien zu erforschen. Hier sind einige mögliche Methoden, die eingesetzt werden könnten, um sich gegen solche Angriffe zu schützen:

1. Differential Privacy: Diese Technik beinhaltet das Hinzufügen von Rauschen zu den Gradienten, die zwischen Clients und dem Server geteilt werden, um sensible Informationen zu verschleiern.
2. Gradientenkompression: Indem nur die wichtigsten Gradienten mit den Clients geteilt werden, kann der Server die Menge an Informationen reduzieren, die potenziellen Angreifern zur Verfügung steht.
3. Modellkomplexität: Die Nutzung komplexerer Modellarchitekturen könnte es Angreifern erschweren, genaue Annäherungen zu erstellen.

Trotz dieser Strategien zeigen vorläufige Ergebnisse, dass sie oft die Gesamtleistung des VFL-Systems beeinträchtigen. Daher ist weitere Forschung nötig, um effektive Abwehrmechanismen zu entwickeln, ohne die Genauigkeit zu opfern.

#Fazit

Der BlindSage-Angriff hebt erhebliche Schwachstellen in vertikalen föderierten Lernsystemen hervor, insbesondere bei denen, die Graph Neural Networks nutzen. Indem er eine Methode zur Ableitung sensibler Labels ohne Vorwissen demonstriert, eröffnet diese Forschung Diskussionen über die Notwendigkeit verbesserter Sicherheitsmassnahmen in föderierten Lern-Setups. Zukünftige Arbeiten werden sich darauf konzentrieren, die Angriffsmethodologie zu verbessern und mögliche Verteidigungen zu erforschen, um sich gegen solche Informationslecks zu schützen.