Emotionale Prosodie: Eine Bedrohung für Sprechererkennungssysteme

Sprecheridentifikation (SI) ist eine Technologie, die erkennt, wer spricht, anhand ihrer Stimme. Das wird häufig in Sicherheitssystemen, in der Forensik und bei sprachgesteuerten Geräten eingesetzt. Jüngste Fortschritte bei tiefen neuronalen Netzwerken (DNNs) haben die Genauigkeit dieser Systeme verbessert. Allerdings können diese Netzwerke von böswilligen Akteuren ausgetrickst werden, die versteckte Trigger in den Trainingsdaten einbetten. Dieser Akt wird als Backdoor-Angriff bezeichnet.

In diesem Artikel werden wir eine neuartige Art von Backdoor-Angriff besprechen, die Emotionale Prosodie nutzt. Emotionale Prosodie bezieht sich auf die Variationen in Ton und Ausdruck, die die Emotionen eines Sprechers widerspiegeln. Wir erklären, wie emotionale Hinweise als heimliche Trigger genutzt werden können, um Systeme zur Sprecheridentifikation zu täuschen, was potenziell die Sicherheit gefährden könnte.

#Die Verwundbarkeit von Systemen zur Sprecheridentifikation

Tiefe Neuronale Netzwerke sind zu wichtigen Werkzeugen für die Sprecheridentifikation geworden, aber sie haben Verwundbarkeiten, die ausgenutzt werden können. Diese Netzwerke werden oft mit Daten aus verschiedenen Quellen trainiert, einschliesslich Drittanbietern. Diese mangelnde Kontrolle über die Trainingsdaten erhöht das Risiko von Backdoor-Angriffen, bei denen ein böswilliger Akteur Trainingsdaten verändert, um versteckte Trigger einzufügen. Wenn das trainierte Modell auf diese Trigger stösst, kann es Sprecher falsch identifizieren oder falsche Ausgaben produzieren.

Zum Beispiel könnte ein Angreifer eine bestimmte Emotion in die Trainingsdaten einführen, was dazu führt, dass das System seine Stimme falsch klassifiziert. Das könnte besonders gefährlich in Anwendungen wie der Strafverfolgung oder in sicheren Umgebungen sein, wo eine genaue Identifikation entscheidend ist.

#Emotionale Prosodie als Trigger

Emotionale Prosodie umfasst Veränderungen in Tonhöhe, Lautstärke und Ton, wenn jemand spricht. Diese Veränderungen können subtil sein, könnten aber als erkennbare Hinweise dienen, um einen Backdoor-Angriff auf Systeme zur Sprecheridentifikation auszulösen. Zum Beispiel könnte eine Person ihre Stimme modulieren, um eine bestimmte Emotion wie Traurigkeit oder Neutralität auszudrücken, was als verstecktes Signal fungieren würde, um das System in die Irre zu führen.

Frühere Forschungen haben gezeigt, dass die Nutzung emotionaler Zustände als Trigger weitgehend unerforscht ist. Wir wollten untersuchen, wie die emotionale Prosodie die Effektivität von Backdoor-Angriffen auf Systeme zur Sprecheridentifikation beeinflusst.

#Experimenteller Aufbau

Um diese Angriffsform zu untersuchen, verwendeten wir mehrere Datensätze mit Audio-Proben mit verschiedenen emotionalen Tönen. Wir setzten drei verschiedene Architekturen für tiefe neuronale Netzwerke ein, um die Verwundbarkeit von Systemen zur Sprecheridentifikation zu testen.

1. Datensätze: Wir nutzten die Emotionale Sprachdatenbank (ESD) und die Ryerson Audio-Visuelle Datenbank für emotionale Sprache und Gesang (RAVDESS). Jeder Datensatz beinhaltete Sprachproben, die verschiedene emotionale Zustände darstellten.

2. Modelle: Die drei verwendeten Modelle waren:

   • ResNet
   • X-Vektoren
   • ECAPA-TDNN

3. Angriffsmethodik: Wir schufen Backdoor-Trigger, indem wir spezifische Emotionen annotierten, um die Sprecheridentitäten in den Trainingsdaten falsch zu kennzeichnen. Indem wir den Anteil emotionaler Proben im Datensatz anpassten, manipulierten wir das Netzwerk, um von den irreführenden Daten zu lernen und diese während der Inferenz falsch zu identifizieren.

#Ergebnisse

#Effektivität des Angriffs

Die Ergebnisse zeigten eine hohe Erfolgsquote für unseren auf emotionaler Prosodie basierenden Backdoor-Angriff über alle getesteten Modelle und Datensätze hinweg. Im Durchschnitt erreichte der Angriff eine hohe Angriffserfolgsquote (ASR), was die Effektivität der emotionalen Trigger anzeigt.

• ASR: Der Angriff war in einem signifikanten Prozentsatz der Fälle in der Lage, die Zielsprecher falsch zu identifizieren, während er eine gute Saubere Genauigkeit (CA) für nicht-getriggerte Eingaben behielt.
• Emotionale Einflussnahme: Verschiedene Emotionen hatten unterschiedliche Effektivität als Trigger. Emotionen wie Traurigkeit und Neutralität führten im Allgemeinen zu höheren Angriffserfolgsraten im Vergleich zu Emotionen wie Glück oder Überraschung.

#Einfluss der Modellarchitektur

Die Wahl der Modellarchitektur beeinflusste, wie gut der Backdoor-Angriff funktionierte. Einige Architekturen waren widerstandsfähiger gegen unseren vorgeschlagenen Angriff. Zum Beispiel:

• ResNet: Zeigte eine höhere Angriffserfolgsquote, aber eine Abnahme der sauberen Genauigkeit, wenn es mit den emotionalen Triggern konfrontiert wurde.
• X-Vektoren: Zeigten variable Erfolge, abhängig vom Datensatz, mit bemerkenswerten Unterschieden zwischen den Sprachen.
• ECAPA-TDNN: Wies in bestimmten Szenarien eine starke Verwundbarkeit auf, besonders wenn emotionale Trigger in die Trainingsdaten eingebettet waren.

#Rolle des Geschlechts

Das Geschlecht hatte keinen signifikanten Einfluss auf die Effektivität des Angriffs. Die emotionalen Trigger funktionierten ähnlich bei männlichen und weiblichen Sprechern. Diese Erkenntnis deutet darauf hin, dass die Methoden, die wir verwendet haben, allgemein anwendbar sind, unabhängig von potenziellen geschlechtsspezifischen Stimmeigenschaften.

#Einfluss des Datensatzes

Der Datensatz spielte eine entscheidende Rolle im Ergebnis des Angriffs. Der ESD-Datensatz zeigte höhere Angriffserfolgsraten als der RAVDESS-Datensatz. Das deutet darauf hin, dass die Vielfalt und der emotionale Ausdruck, die in den Daten erfasst werden, erheblichen Einfluss darauf haben können, wie gut ein System zur Sprecheridentifikation getäuscht werden kann.

#Abwehrstrategien

Um die identifizierten Verwundbarkeiten zu adressieren, wurden mehrere Abwehrstrategien implementiert.

#Pruning

Pruning bedeutet, bestimmte Teile eines neuronalen Netzwerks zu entfernen, um seine Fähigkeit zur Beibehaltung des Backdoor-Verhaltens zu verringern. Erste Ergebnisse deuten darauf hin, dass wir durch das Entfernen von Teilen des Netzwerks den Erfolg des Angriffs reduzieren könnten, ohne die Genauigkeit sauberer Proben erheblich zu beeinträchtigen.

#STRIP-ViTA

STRIP-ViTA zielt darauf ab, vergiftete Proben zu identifizieren, indem es die Zufälligkeit in den Vorhersagen analysiert. Die Effektivität dieser Abwehr war begrenzt, da es Schwierigkeiten hatte, zwischen sauberen und vergifteten Proben genau zu unterscheiden.

#Vorverarbeitungstechniken

Drei Vorverarbeitungsmethoden wurden bewertet:

1. Quantisierung: Veränderung der Bit-Tiefe von Audiosignalen, um subtile Geräusche, die während des Angriffs eingeführt wurden, zu reduzieren.
2. Medianfilterung: Eine Methode, die verwendet wird, um Rauschen aus Audiosignalen zu glätten und möglicherweise die Auswirkungen von Backdoor-Triggern zu mildern.
3. Squeezing: Beinhaltet die Veränderung der Abtastrate von Audiosignalen, wodurch Artefakte eingeführt werden, die die Backdoor-Trigger verschleiern könnten.

#Vergleich der Abwehrstrategien

Die Abwehrstrategien variierten in ihrer Effektivität:

• Pruning zeigte das grösste Potenzial zur Reduzierung der Auswirkungen des Angriffs, während die saubere Genauigkeit erhalten blieb.
• Vorverarbeitungstechniken hatten begrenzten Erfolg und reduzierten oft die Genauigkeit im gesamten Bereich.

#Fazit

Die Studie hebt ein Anliegen über die Verwendung emotionaler Prosodie als Backdoor-Trigger für Systeme zur Sprecheridentifikation hervor. Während diese Systeme zunehmend in sichere Umgebungen integriert werden, wird es entscheidend sein, die Verwundbarkeiten gegenüber Backdoor-Angriffen zu verstehen und zu mindern.

Zukünftige Forschungen sollten komplexere und vielfältigere Datensätze erkunden, Abwehrstrategien weiter verfeinern und die einzigartigen Eigenschaften emotionaler Hinweise in verschiedenen Sprachen untersuchen. Das wird dazu beitragen, robustere Systeme zur Sprecheridentifikation aufzubauen, die solchen täuschenden Angriffen standhalten können, und eine bessere Sicherheit für sensible Anwendungen gewährleisten.

Zusammenfassend lässt sich sagen, dass emotionale Prosodie ein erhebliches Risiko als potenzieller Trigger für Backdoor-Angriffe auf die Sprecheridentifikation darstellt, aber es gibt Möglichkeiten, die Abwehr gegen diese Bedrohungen zu verbessern. Indem wir diese Verwundbarkeiten verstehen und angehen, können wir auf sicherere und zuverlässigere Technologien zur Sprecheridentifikation hinarbeiten.