Verbesserung der emotionalen Erkennung und Synthese in Sprachmodellen

SprachEmotionserkennung (SER) und emotionales Text-to-Speech (TTS) sind zwei wichtige Aufgaben im Bereich der Sprachverarbeitung. SER konzentriert sich darauf, Emotionen aus gesprochenen Wörtern zu verstehen, während Emotional TTS darauf abzielt, Sprache zu erzeugen, die Emotionen vermittelt, wenn Text gegeben wird. Beide Aufgaben werden immer beliebter, da die Modelle im maschinellen Lernen besser darin werden, menschliche Emotionen nachzuahmen.

Ein entscheidender Faktor für den Erfolg beider Aufgaben ist, wie gut die Sprachemotionen dargestellt sind. Gute emotionale Darstellungen können helfen, Emotionen in Sprache zu erkennen und ausdrucksvollere gesprochene Sprache zu erzeugen. Es gibt jedoch ein häufiges Problem: Oft sind nicht genug emotionale Sprachdaten verfügbar. Die meisten Forschungen berücksichtigen dieses Problem der Datenungleichheit nicht.

Emotionale Sprachdaten sind schwerer und teurer zu sammeln als neutrale Sprache, was zu einem Fokus auf neutrale Daten führt. Das kann dazu führen, dass Modelle die neutrale Emotion bevorzugen und es schwer haben, emotionale Sprache effektiv zu erkennen oder zu erzeugen. Um dies anzugehen, ist es wichtig, Wege zu finden, emotionale Darstellungen zu extrahieren, die gut funktionieren, trotz des Mangels an ausgewogenen Daten.

#Die Herausforderung ungleicher Datensätze

Eine der Hauptschwierigkeiten beim Training von Modellen für SER und Emotional TTS ist die Verfügbarkeit von Daten. Die meisten Datensätze neigen dazu, neutrale Sprache zu favorisieren, was bedeutet, dass emotionale Klassen weniger Beispiele haben. Diese Ungleichheit kann dazu führen, dass Modelle schlecht darin sind, emotionale Sprache zu erkennen oder zu produzieren.

Datenaugmentierung ist eine Technik, die hilft, mit ungleichen Datensätzen umzugehen. Indem neue, veränderte Beispiele aus den vorhandenen Daten erstellt werden, kann die Augmentierung die Verzerrung zugunsten der häufigeren neutralen Klasse reduzieren. Einige Strategien beinhalten das Generieren von Sprachdaten mit Techniken wie Generative Adversarial Networks (GANs).

Es wurden auch andere Methoden ausprobiert, wie das Erstellen neuer Beispiele durch Mischen von Merkmalen aus bestehenden Daten. Der Fokus lag jedoch oft darauf, mehr Sprachdaten zu generieren, anstatt die emotionale Darstellung direkt zu verbessern.

#Bedeutung der emotionalen Darstellung

Für effektives Emotional TTS ist es entscheidend, starke emotionale Darstellungen zu haben. Diese Darstellungen können helfen, Sprache zu erzeugen, die die passende Emotion vermittelt. Einige Ansätze haben Stil-Token verwendet, die emotionale Merkmale darstellen, die aus Sprachproben extrahiert wurden. Diese Token werden dann auf synthetisierte Sprache angewendet, um die Ausdruckskraft zu erhöhen.

Fortgeschrittenere Methoden, wie RFTacotron, nutzen Sequenzen von Vektoren, um emotionale Stile detailliert zu erfassen. Während diese Techniken vielversprechend sind, haben sie oft Schwierigkeiten mit ungleichen Datensätzen. Modelle neigen dazu, sich zu sehr auf die dominante neutrale Klasse einzustellen, was zu weniger ausdrucksvollen Ausgaben führt.

Um dem entgegenzuwirken, hat eine Methode namens Mixup an Popularität gewonnen. Diese Technik kombiniert bestehende Eingabemuster, um neue Trainingsbeispiele zu erstellen. Studien haben gezeigt, dass Mixup die Leistung in verschiedenen Aufgaben, einschliesslich Spracherkennung, verbessert.

#Ein neuer Ansatz zur Erlernung emotionaler Darstellungen

In dieser Arbeit schlagen wir eine neue Methode vor, die verschiedene Arten von Mixup-Augmentierung kombiniert, um emotionale Darstellungen effektiv aus unbalancierten Daten zu lernen. Durch die Integration sowohl von rohem als auch von latentem Mixup können wir die Stärken beider Methoden nutzen.

Im rohen Mixup werden zwei Sprachproben kombiniert, um eine neue Probe zu erstellen, die dem Modell hilft, eine breitere Vielfalt an Daten zu lernen. Das ermöglicht dem Modell, verschiedene Strukturen innerhalb der Daten zu identifizieren, was wichtig ist, um eine robustere Darstellung zu entwickeln. Im latenten Mixup werden emotionale Darstellungen auf einer zwischenliegenden Aktivierungsebene gemischt, was zu tieferen und ausdrucksvolleren Merkmalen führen kann.

Die Kombination beider Mixup-Typen sorgt dafür, dass die gelernten emotionalen Darstellungen konsistent und generalisierbar über verschiedene Datensätze hinweg sind. Diese Konsistenz hilft Modellen, nicht zu sehr auf spezifische Merkmale angewiesen zu sein, die zwischen Training und realen Szenarien variieren könnten.

#Training des Emotionsextraktors

Um effektive emotionale Darstellungen zu lernen, trainieren wir ein Modell namens Emotionsextraktor. Der Trainingsprozess beinhaltet die Verwendung sowohl von rohen als auch von latenten Mixup-Techniken, um neue Trainingsproben zu erstellen und wertvolle emotionale Merkmale aus den Sprachdaten zu gewinnen.

Der Emotionsextraktor verarbeitet Sprachproben, um emotionale Darstellungen abzuleiten. Diese Darstellungen können dann sowohl in SER- als auch in Emotional TTS-Aufgaben verwendet werden. Während des Trainings aktualisiert das Modell sein Verständnis basierend auf den emotionalen Labels, die mit den Proben verbunden sind. Das hilft dem Modell, effektiv zwischen verschiedenen Emotionen zu unterscheiden.

#Verwendung des Emotionsextraktors für SER und TTS

Für die SER-Aufgabe kann der Emotionsextraktor direkt angewendet werden, um Emotionen in Sprache zu erkennen. Wir modifizieren ein weit verbreitetes Deep-Learning-Modell namens VGG19 zu diesem Zweck. Durch die Anpassung von VGG19 können wir Merkmale aus dem Sprachinput extrahieren, während wir uns auf den emotionalen Inhalt konzentrieren.

In der Emotional TTS-Aufgabe nutzen wir ein Modell namens RFTacotron, das Text in Sprache umwandelt, wobei die emotionalen Darstellungen verwendet werden, die aus dem Emotionsextraktor gelernt wurden. Die Architektur des Emotionsextraktors passt zu den Bedürfnissen des TTS-Modells und ermöglicht eine nahtlose Integration emotionaler Merkmale während der Sprachsynthese.

#Trainingsprozess und verwendete Daten

Das Training beinhaltet die Verwendung spezifischer Datensätze für sowohl die SER- als auch die TTS-Aufgaben. Für SER arbeiten wir mit Datensätzen, die emotionale Sprachproben sowie neutrale Proben enthalten. Indem wir künstlich die Anzahl der emotionalen Proben reduzieren, können wir die häufigen Ungleichheiten in realen Daten simulieren.

Für die Emotional TTS-Aufgabe wählen wir einen Datensatz aus, der speziell für die Generierung emotionaler Sprache konzipiert wurde. Ähnlich wie bei den SER-Datensätzen behalten wir nur eine begrenzte Anzahl emotionaler Proben pro Klasse, um die Herausforderung der Datenungleichheit nachzuahmen.

Die Vorverarbeitung der Sprachproben umfasst das Resampling, um eine konsistente Qualität sicherzustellen. Akustische Merkmale werden dann extrahiert, um während der Trainingsphase eine effektive Analyse zu ermöglichen.

#Ergebnisse und Erkenntnisse

Nach dem Training führen wir Experimente durch, um die Leistung unserer Modelle in den SER- und TTS-Aufgaben zu evaluieren. Wir verwenden mehrere Datensätze, um zuverlässige Ergebnisse zu gewährleisten und die Wirksamkeit unseres vorgeschlagenen Ansatzes zu validieren.

Für die SER-Aufgabe beobachten wir, dass unser Modell bestehende Baselines auf ungleichen Datensätzen deutlich übertrifft. Die emotionalen Darstellungen, die aus unserem Emotionsextraktor extrahiert wurden, führen zu einer klaren und genauen Emotionserkennung, selbst in herausfordernden Szenarien.

In der TTS-Aufgabe stellen wir fest, dass unser Modell ausdrucksvollere Sprache synthetisiert. Die emotionalen Darstellungen tragen positiv zur Qualität der erzeugten Sprache bei und lassen sie im Vergleich zu traditionellen Modellen natürlicher und emotional reicher klingen.

#Fazit

Zusammenfassend präsentieren wir eine neue Methode zur Extraktion emotionaler Darstellungen aus unbalancierten Sprachdaten. Durch die Kombination verschiedener Augmentierungstechniken verbessern wir die Leistung sowohl von SprachEmotionserkennung als auch von emotionalen Text-to-Speech-Modellen. Unsere experimentellen Ergebnisse zeigen, dass dieser Ansatz zu robusteren und effektiveren emotionalen Darstellungen führt, die es Modellen ermöglichen, auch bei begrenzten Trainingsdaten besser abzuschneiden.