Fortschritte in der Spracherkennung von Emotionen durch Sprecher-Embeddings

Spracherkennung von Emotionen (SER) dreht sich darum, herauszufinden, wie Menschen sich fühlen, basierend auf ihrer Sprache. Dieses Gebiet findet viel Interesse, weil es in vielen Bereichen helfen kann, wie z.B. im Gesundheitswesen und in der Psychologie. Eine interessante Möglichkeit, SER zu verbessern, ist die Verwendung spezieller Datentypen, die als Embeddings aus vortrainierten Modellen (PTMs) bezeichnet werden. Diese Embeddings können Computern helfen, Emotionen in der Sprache besser zu verstehen. Allerdings wurde die Verwendung von Embeddings speziell aus Sprechererkennungsmodellen im Vergleich zu anderen PTMs nicht viel untersucht.

Um das anzugehen, haben wir fünf verschiedene PTM-Embeddings verglichen, um zu sehen, wie gut sie für die Erkennung von Emotionen in der Sprache funktionieren. Unter ihnen hat das x-vector-Embedding am besten abgeschnitten. Wir denken, dass das daran liegt, dass es darauf trainiert wurde, Sprecher zu erkennen, was es ihm ermöglicht, wichtige Sprachelemente wie Ton und Melodie wahrzunehmen. Unser Ansatz nutzt x-vector-Embeddings zusammen mit einem weiteren Merkmal, den Mel-Frequenz-Cepstral-Koeffizienten (MFCC). Diese Kombination ist leichtgewichtig, was bedeutet, dass sie nicht viele Ressourcen benötigt, um zu laufen, und dennoch eine gute Genauigkeit im Vergleich zu komplexeren Modellen erreicht.

#Bedeutung von Emotionen in der Kommunikation

Menschen drücken verschiedene Emotionen aus, basierend auf ihren Gefühlen, was die Kommunikation erleichtert. Emotionen ermöglichen es uns, besser mit anderen in Kontakt zu treten, was das Teilen von glücklichen Momenten und die Unterstützung in schwierigen Zeiten einfacher macht. Während Menschen Emotionen leicht lesen können, ist es für Maschinen eine herausfordernde Aufgabe, besonders da wir sehen, dass immer mehr Maschinen eingesetzt werden, um Emotionen vorherzusagen für eine bessere Interaktion mit Menschen.

Emotionen können auf viele Arten erkannt werden: durch Gesichtsausdrücke, Körpersprache und, importantly, Sprache. In dieser Arbeit konzentrieren wir uns speziell darauf, wie man Emotionen in der Sprache erkennt, was aufgrund seiner breiten Anwendungen ins Rampenlicht gerückt ist.

#Methoden zur Spracherkennung von Emotionen

Es gibt mehrere Methoden für die Spracherkennung von Emotionen. Traditionelle Techniken, wie die Hidden Markov Models (HMM), waren unter den ersten Methoden. Im Laufe der Zeit begannen Forscher, maschinelles Lernen zusammen mit handgefertigten Merkmalen zu verwenden. Deep-Learning-Methoden, insbesondere solche, die Convolutional Neural Networks (CNN) verwenden, wurden nach dem Erfolg von Modellen wie AlexNet populär.

In letzter Zeit ist die Verwendung von Embeddings aus verschiedenen PTMs zur gängigen Praxis geworden. Diese PTMs, die auf grossen Datensätzen trainiert wurden, können die Erfolgsquote von SER-Aufgaben verbessern. Zu den beliebten gehören Wav2vec und YAMNet, die für ihre Leistung bekannt sind. Während viele Forscher sich auf diese Embeddings konzentriert haben, wurde nicht viel unternommen, um Embeddings der Sprechererkennung für SER zu erkunden.

#Untersuchung von Embeddings zur Sprechererkennung

Die Forschungslücke in Bezug auf Embeddings der Sprechererkennung möchten wir ansprechen. Frühere Arbeiten haben gezeigt, dass es eine Verbindung zwischen der Fähigkeit eines Modells gibt, einen Sprecher zu erkennen, und der Fähigkeit, die Emotionen in deren Sprache zu verstehen. Daher glauben wir, dass Embeddings, die für die Sprechererkennung trainiert wurden, für SER äusserst nützlich sein können.

Wir hatten das Ziel, verschiedene PTM-Embeddings zu vergleichen, um herauszufinden, welche am besten zur Erkennung von Emotionen in der Sprache geeignet sind. Für unsere Analyse haben wir fünf verschiedene PTM-Embeddings betrachtet: x-vector, ECAPA, wav2vec 2.0, wavLM und Unispeech-SAT.

#Die gewählten Embeddings

1. x-vector: Ein hochmodernes System, das darauf trainiert ist, Sprecher zu erkennen, und wertvolle Embeddings liefert.
2. ECAPA: Eine neuere Version von x-vector, die es verbessert, indem sie dessen Einschränkungen anspricht.
3. wav2vec 2.0: In selbstüberwachter Weise trainiert, ist dieses Modell effektiv, hat aber nicht so hohe Leistungen wie einige andere gezeigt.
4. wavLM: Dieses Modell hat starke Ergebnisse bei verschiedenen sprachbezogenen Aufgaben gezeigt und wird für seine Funktionen anerkannt.
5. Unispeech-SAT: Ein speziell für Multi-Task-Learning entwickeltes Modell, das sich auf verschiedene Aspekte der Sprache konzentriert.

Jedes dieser Modelle hat seine Stärken, und wir haben sie verwendet, um zu sehen, wie sie in einem Datensatz zur Spracherkennung von Emotionen abschneiden.

#Der verwendete Datensatz für Tests

Wir haben den Crema-d-Datensatz für unsere Experimente verwendet. Dieser Datensatz ist vorteilhaft für SER, da er Antworten von Menschen verschiedener Altersgruppen und Hintergründe enthält. Er ist geschlechterbalanciert und umfasst Tausende von Sprachproben, die mehrere Emotionen zeigen: Wut, Glück, Traurigkeit, Angst, Ekel und Neutralität.

#Der Modellierungsansatz

Für unsere Experimente haben wir einen spezifischen Modellierungsansatz verwendet. Wir haben mit einem 1D-CNN-Modell auf den Embeddings, die wir von den PTMs erhalten haben, begonnen. Dieses Modell hilft bei der Klassifizierung von Emotionen basierend auf den extrahierten Merkmalen. Am Ende unseres Modells haben wir Softmax-Funktionen verwendet, um die Wahrscheinlichkeiten für verschiedene Emotionen zu bestimmen. Für einige Experimente haben wir auch PTM-Embeddings mit MFCC-Funktionen kombiniert, um zu sehen, ob das die Genauigkeit verbessert.

#Experimentelle Ergebnisse

Unser Hauptziel war es zu sehen, welches der PTM-Embeddings am besten für SER abschneidet. Wir haben jedes Modell trainiert und getestet und ihre Leistungen miteinander verglichen. Die frühen Ergebnisse zeigten, dass das beste Modell das war, das x-vector-Embeddings verwendete. Es erreichte eine Genauigkeitsquote von 68,19%. Das bestärkt unsere Idee, dass Modelle, die speziell für die Erkennung von Sprechern trainiert wurden, auf ihr Verständnis verschiedener Spracheigenschaften zurückgreifen können.

Bei der Kombination von PTM-Embeddings mit MFCC fanden wir heraus, dass die meisten Modelle ihre Leistung verbesserten, mit Ausnahme von Unispeech-SAT. Eine weitere bemerkenswerte Erkenntnis war, dass die Ergebnisse der wav2vec 2.0-Embeddings nicht signifikant besser waren als die der Basis-MFCC-Funktionen. Das deutet darauf hin, dass wav2vec 2.0 möglicherweise nicht die wichtigen Informationen erfasst, die für eine effektive SER nötig sind.

Die zusätzlichen Tests, die wir mit dem Toronto Emotional Speech Set (TESS) durchführten, zeigten ähnliche Trends, wobei die x-vector-Embeddings erneut gut abschnitten.

#Vergleich mit den besten Methoden

Um unsere Ergebnisse in den Kontext zu setzen, haben wir die Ergebnisse unseres besten Modells (x-vector + MFCC) mit bestehenden Modellen auf dem neuesten Stand der Technik verglichen. Wir fanden heraus, dass unser Modell, obwohl es weniger Parameter hat, es schafft, eine vergleichbare Leistung zu erzielen. Die Effizienz unseres Modells macht es zu einer leichten Option, ohne dabei an Genauigkeit einzubüssen.

#Fazit

In dieser Arbeit haben wir eine detaillierte Analyse verschiedener PTM-Embeddings für die Erkennung von Emotionen in der Sprache durchgeführt. Die x-vector-Embeddings haben sich als die effektivsten herausgestellt. Durch die Kombination von x-vector mit MFCC haben wir ein leichtgewichtiges und effizientes Modell für SER entwickelt, das ähnlich wie komplexere Ansätze abschneidet.

Unsere Ergebnisse könnten zukünftige Forschungsarbeiten in der SER leiten und helfen, geeignete Embeddings für eine effektivere Emotionserkennung in der Sprache zu identifizieren. Diese Arbeit zeigt den Wert auf, unterschiedliche PTM-Embeddings zu erkunden, insbesondere solche, die für die Sprechererkennung abgestimmt sind, und wie sie das Verständnis menschlicher Emotionen in der Sprache verbessern können.