Fortschritte in der ASR für bedrohte Sprachen

In letzter Zeit haben vortrainierte neuronale Modelle vielversprechende Ergebnisse bei verschiedenen Aufgaben für Sprachen mit weniger verfügbaren Ressourcen gezeigt. Diese Modelle basieren auf selbstüberwachtem Lernen (SSL) und grossen Mengen an Sprachdaten. Dieser Artikel konzentriert sich auf zwei bedrohte Sprachen aus Taiwan, Amis und Seediq, und untersucht, wie die Datenmenge das Training von SSL-Modellen für Automatische Spracherkennung (ASR) beeinflusst.

#Bedeutung von Daten in Sprachen mit wenigen Ressourcen

Automatische Spracherkennungssysteme haben sich für viele weit verbreitete Sprachen wie Englisch, Französisch und Chinesisch gut bewährt. Dieser Erfolg beruht hauptsächlich auf der Verfügbarkeit von reichlich Sprach- und Texttrainingsdaten. Allerdings ist es oft schwierig und teuer, hochwertige Sprachtranskriptionen zu sammeln. Dies ist besonders für bedrohte Sprachen wie Amis und Seediq der Fall, die nur wenige Sprecher haben und kein konsistentes Schriftsystem besitzen.

Aktuelle Studien im Bereich des selbstüberwachten Lernens haben gezeigt, dass ASR-Systeme auch mit nur einer kleinen Menge an gepaarten Daten effektiv arbeiten können. Diese Systeme nutzen vortrainierte SSL-Modelle, die aus grossen Mengen unbeschrifteter Sprachdaten erstellt wurden. Auch wenn das Feintuning dieser Modelle den Bedarf an gepaarten Daten verringern kann, bleibt die Menge an unbeschrifteten Sprachdaten, die während der anfänglichen Pre-Training-Phase benötigt wird, erheblich. Zum Beispiel kann ein Modell wie wav2vec 2.0 mindestens 960 Stunden Sprachdaten benötigen, um effektiv zu sein.

Sowohl überwachtes als auch unüberwachtes ASR erfordert typischerweise reichlich Daten in Form von Sprachtranskriptionen oder nur Sprache, um genaue Ergebnisse zu erzielen. Für Sprachen mit wenigen Ressourcen ist es nahezu unmöglich, Modelle von Grund auf zu trainieren, da es an ausreichenden Daten fehlt. Diese Einschränkung ist ein grosses Hindernis für Sprecher dieser Sprachen und hindert sie daran, die Vorteile der Sprachtechnologie zu nutzen.

#Feintuning von ASR-Modellen

Um die Probleme der Sprachen mit wenigen Ressourcen anzugehen, haben Forscher damit begonnen, ASR-Modelle zu verfeinern, die bereits für mehrere Sprachen trainiert wurden. Diese Methode ermöglicht es einem vortrainierten SSL-Modell, das phonematische Verständnis aus verschiedenen Sprachen gewonnen hat, um zu lernen, wie man Sprache in einer neuen Zielsprache während des Feintunings transkribiert.

Um den Fortschritt bei der Anwendung von SSL-Modellen auf mehr Sprachen zu fördern, wurde ein mehrsprachiger Benchmark namens ML-SUPERB geschaffen. Diese Plattform bietet ASR-Aufgaben und Sprachenidentifikation in 143 verschiedenen Sprachen. Forscher haben verschiedene SSL-Modelle getestet, um monolinguale und mehrsprachige ASR-Systeme zu verbessern. Besonders XLSR-128 hat in beiden Szenarien starke Ergebnisse gezeigt.

Forschungen haben gezeigt, dass das fortgesetzte Training bestehender mehrsprachiger SSL-Modelle mit zielsprachenspezifischen Daten die ASR-Leistung erheblich verbessern kann. Allerdings bleibt das Sammeln der erforderlichen Menge an Sprachdaten für dieses fortlaufende Training eine Hürde, wobei oft über 234 Stunden benötigt werden. Weitere Studien haben in Betracht gezogen, Daten aus anderen Sprachen mit ähnlichen phonologischen Merkmalen zu verwenden, wenn es nur wenig gepaarte Daten in der Zielsprache gibt.

#Ziel der Studie

Diese Studie zielt darauf ab herauszufinden, ob eine gute ASR-Leistung erreicht werden kann, ohne grosse Mengen an gepaarten und ungepaarten Daten für Amis und Seediq zu sammeln. Der entscheidende Unterschied in dieser Studie ist die Annahme, dass keine umfangreichen Sprachdaten verfügbar sind, die eng mit den Zielsprache vergleichbar sind.

Das Ziel ist die Entwicklung von ASR-Systemen für Amis und Seediq mit nur begrenzten vorhandenen mehrsprachigen Daten und einer kleinen Menge an gepaarten Daten (weniger als eine Stunde für jede Sprache). Dazu schlagen wir ein Datenauswahl-System vor, das Äusserungen auswählt, die phonetisch und phonologisch ähnlich zur Zielsprache aus einem grossen mehrsprachigen Korpus sind. Dieser Auswahlprozess umfasst die Nutzung eines Sprachenerkennungsmodells, um ein Embedding für jede Äusserung zu erstellen, das Training von drei Klassifizierern für die Zielsprache und anschliessend die Rangordnung und Auswahl der Äusserungen basierend auf Entscheidungswerten.

#Datenquelle und Merkmale

Sowohl Amis als auch Seediq sind indigene Sprachen, die in Taiwan gesprochen werden und als gefährdet gelten. Amis hat etwa 218.500 Sprecher und ist die am häufigsten gesprochene austronesische Sprache in Taiwan. Die Sprache verwendet lateinische Buchstaben und hat einige einzigartige Symbole, die spezifische Laute repräsentieren.

Amis umfasst fünf Dialekte, und die Schreibweise kann mehrdeutig sein, wobei die gleichen Laute je nach Dialekt durch unterschiedliche Buchstaben dargestellt werden.

Seediq hat ebenfalls seine eigenen Merkmale, mit drei Dialekten und einem Schriftsystem, das lateinische Buchstaben sowie einige Diphthonge verwendet. Auch hier kann es mehrdeutige Darstellungen von Lauten geben.

Für diese Studie werden die Sprachdaten von Klokah ausgewählt, einer Online-Lernplattform, die Audio-Materialien zur Unterstützung des Sprachenlernens bereitstellt. Der Datensatz konzentriert sich auf bestimmte Themen wie Alltagsgespräche.

#Forschungsansatz

Die Forschung basiert auf der Idee, dass das mehrsprachige Feintuning eines SSL-Modells unter Verwendung zusätzlicher Daten aus ähnlichen Sprachen dazu beitragen kann, die Leistung von ASR-Systemen zu verbessern. Ziel ist es, Äusserungen zu extrahieren, die eng mit der Zielsprache übereinstimmen, aus einem grösseren mehrsprachigen Datensatz, um das Training des SSL-Modells fortzusetzen.

Die Forschung folgt einem zweigeteilten Ansatz. Zuerst identifiziert ein Sprachenerkennungsmodell die linguistischen Merkmale jeder Äusserung. Die Merkmale beinhalten Informationen, die hilfreich sind, um zu bestimmen, zu welcher Sprache eine Äusserung gehört. Eine spezifische Schicht innerhalb des Sprachenerkennungsmodells liefert dann wichtige Informationen, die für das Training der Klassifizierer verwendet werden.

Die Klassifizierer arbeiten daran, zu identifizieren, welche Äusserungen hinzugefügt werden können, um die für das Training verwendeten Daten zu erweitern. Mit Innovation in der Auswahl von Daten zielt diese Studie darauf ab, eine Grenze zu schaffen, die zwischen Standard- und anomalen Äusserungen basierend auf ihren Merkmalen unterscheidet.

#Ein-Klassen-Klassifikation

Um Sprach-Embeddings für die Äusserungen zu erhalten, nutzt die Studie ein trainiertes Modell, das eine niedrige Fehlerquote in verschiedenen Sprachen erreicht. Die Studie konzentriert sich auf drei verschiedene Ein-Klassen-Klassifizierer, um Äusserungen zu identifizieren, die eng mit der Zielsprache verwandt sind.

Der Ein-Klassen SVM versucht, eine Hyperplane zu etablieren, die die meisten Datenpunkte in einem hochdimensionalen Raum umfasst, wodurch er hilft, Ausreisser zu identifizieren. Der Isolation Forest isoliert Datenpunkte durch zufällige Auswahl von Merkmalen, um Anomalien basierend darauf zu identifizieren, wie schnell sie getrennt werden können. Schliesslich verwendet Deep SVDD eine abstandsbasierte Methode, um normale Daten basierend auf ihrer Nähe zu einem zentralen Punkt zu identifizieren.

Da unterschiedliche Klassifizierer unterschiedliche Ergebnisse liefern, wird ein Filteralgorithmus vorgeschlagen, um den Auswahlprozess zu verbessern und eine grössere Konsistenz über die Klassifizierer hinweg zu erreichen.

#Fortgesetztes Pre-Training von SSL-Modellen

Die Studie nimmt Trainingsdaten mithilfe der Klassifizierer und setzt das Pre-Training des SSL-Modells über eine bestimmte Anzahl von Updates mit geeigneten Konfigurationen fort. Das ASR-Modell wird dann basierend auf dem vortrainierten Modell feingetunt, wobei sichergestellt wird, dass alle Parameter für die Aufgabe angepasst sind.

Der Prozess betont die Bedeutung der Datenwahl und die Menge der verfügbaren Daten für das Training. Experimente mit unterschiedlichen Datenmengen und Auswahlmethoden erlauben ein gründliches Verständnis davon, wie sie die Leistung des ASR-Modells beeinflussen.

#Ergebnisse und Erkenntnisse

Die Ergebnisse zeigen, dass grössere Mengen an Trainingsdaten die Effektivität der ASR-Modelle erhöhen. Modelle, die mit verschiedenen SSL-Frameworks trainiert wurden, zeigen unterschiedliche Erfolge mit den untersuchten Sprachen. Besonders grössere SSL-Modelle haben oft Überanpassungsprobleme, insbesondere wenn sie mit sehr wenig Daten trainiert werden.

Obwohl die vorgeschlagene Methode zur Auswahl von Daten aus nicht-zielsprachigen Sprachen nur begrenzte sofortige Leistungsgewinne zeigte, deutet sie auf einen möglichen Weg für zukünftige Forschungen hin. Die ersten Ergebnisse zeigen, dass die Datenmenge und -auswahl entscheidende Rollen im kontinuierlichen Training und der Leistung der ASR-Modelle für Sprachen mit wenigen Ressourcen spielen.

#Fazit

Diese Forschung hebt die Herausforderungen und Perspektiven bei der Entwicklung von ASR-Systemen für extrem ressourcenarme Sprachen wie Amis und Seediq hervor. Die Studie unterstreicht die Bedeutung der Datenauswahl und das Potenzial des Feintunings bestehender mehrsprachiger Modelle. Während die ersten Ergebnisse vielversprechend sind, gibt es noch viel zu tun. Zukünftige Bemühungen werden darin bestehen, mehr verarbeitete Daten verfügbar zu machen und die Methode im grösseren Massstab mit mehr Sprachen zu testen. Das Ziel ist es, die Zugänglichkeit der Sprachtechnologie für alle Sprecher zu verbessern, unabhängig von ihrem sprachlichen Hintergrund.