VarDial Bewertungs-Kampagne 2023 Highlights Sprachverarbeitungsaufgaben

Die VarDial Evaluierungs-Kampagne 2023 konzentrierte sich auf drei Hauptaufgaben im Bereich der Sprachverarbeitung. Diese Kampagne ist Teil eines Workshops, der bespricht, wie man mit ähnlichen Sprachen, Varietäten und Dialekten umgeht. In diesem Jahr wurden drei gemeinsame Aufgaben vorgestellt: Slot- und Intent-Erkennung für ressourcenarme Sprachvarietäten (SID4LR), Unterscheidung zwischen ähnlichen Sprachen - Wahre Labels (DSL-TL) und Unterscheidung zwischen ähnlichen Sprachen - Sprache (DSL-S). Alle diese Aufgaben wurden zum ersten Mal während der diesjährigen Kampagne eingerichtet.

#Gemeinsame Aufgaben bei VarDial 2023

Die Evaluierungskampagne fand von Januar bis Februar 2023 statt. Der Zeitplan war eng, weil der Workshop für Mai geplant war. Die Teilnahmeankündigung wurde Anfang Januar gemacht, und die Trainingsdaten wurden am 23. Januar veröffentlicht. Die Teilnehmer hatten bis zum 27. Februar Zeit, ihre Ergebnisse einzureichen.

#Slot- und Intent-Erkennung für ressourcenarme Sprachvarietäten (SID4LR)

SID4LR zielte auf die Erkennung von Slots und Intentionen in drei ressourcenarmen Sprachvarietäten ab: Schweizerdeutsch aus Bern, Südtiroler Deutsch und Neapolitanisch. Das Ziel war es, zu klassifizieren, was jemand basierend auf seinen Worten will, und spezifische Informationen in seiner Nachricht zu identifizieren. Die Kernfrage war, wie man Wissen auf diese ressourcenarmen Sprachen übertragen kann, die oft keine standardisierten schriftlichen Formen haben.

Die Trainingsdaten für diese Aufgabe stammten aus einem speziellen Datensatz, der Beispiele aus verschiedenen Sprachen enthielt. Den Teilnehmern wurde erlaubt, andere Ressourcen zu nutzen, um ihre Modelle zu verbessern. Die Hauptbewertungskennzahlen waren die Genauigkeit für die Intent-Erkennung und der F1-Score für die Slot-Erkennung.

#Teilnehmer und Ansätze in SID4LR

Mehrere Teams nahmen an der SID4LR-Aufgabe teil, jedes mit unterschiedlichen Methoden zur Lösung des Problems. Ein Team, UBC, nahm sowohl an den Slot- als auch an den Intent-Erkennungsaufgaben teil. Sie nutzten verschiedene Sprachmodelle und probierten unterschiedliche Ansätze aus, darunter das Ändern von Ausgangssprachen und die Verwendung zusätzlicher Daten. Team UBC erzielte gute Ergebnisse für einige Sprachen, hatte aber Schwierigkeiten mit dem Schweizerdeutsch, das sich als herausfordernde Varietät erwies.

Ein weiteres Team, Notre Dame, konzentrierte sich nur auf die Intent-Erkennung. Sie wendeten Methoden an, die während des Trainings keine Daten aus den Zielsprachen verwendeten. Ihr Ansatz hob hervor, wie wichtig es ist, die richtigen Techniken zu verwenden, um Rauschen in den Daten zu bewältigen, was half, ihre Ergebnisse zu verbessern.

Trotz der Unterschiede in den Ansätzen schnitten beide Teams besser ab als das zuvor etablierte Basismodell. Die Herausforderung in SID4LR war besonders beim Schweizerdeutsch deutlich, wo die Ergebnisse hinter den anderen zwei Sprachen zurückblieben, was darauf hindeutet, dass möglicherweise mehr Analyse nötig ist, um die Lücken zu erklären.

#Unterscheidung zwischen ähnlichen Sprachen - Wahre Labels (DSL-TL)

Bei der DSL-TL-Aufgabe hatten die Teilnehmer das Ziel, verschiedene Sprachvarietäten zu identifizieren, wie Kroatisch und Serbisch oder Brasilianisch und Europäisch-Portugiesisch. Diese Aufgabe brachte neue Herausforderungen mit sich, indem Sätze mehreren Varietäten gleichzeitig zugeordnet werden konnten, was sie komplexer machte als frühere Aufgaben.

Der DSL-TL-Datensatz beinhaltete Zeitungsartikel, die von Muttersprachlern aus den relevanten Ländern annotiert wurden. Die Teilnehmer hatten zwei Hauptansätze: einen zur Vorhersage aller Labels und einen, der sich nur auf spezifische Varietäten konzentrierte.

#Teilnehmer und Ansätze in DSL-TL

Vier Teams reichten ihre Arbeiten für die DSL-TL-Aufgabe ein. Das Team VaidyaKane verwendete ein mehrsprachiges Modell, das für die Spracherkennung feinabgestimmt wurde. Sie kombinierten dies mit sprachspezifischen Modellen, um den Text besser in seine entsprechenden Varietäten zu klassifizieren.

Ein weiteres Team, ssl, setzte auf eine traditionellere Methode, indem sie eine Support Vector Machine (SVM) für die Klassifikation basierend auf Zeichen-n-Grammen verwendeten. Sie erkundeten auch die Verwendung von Namen, die aus Online-Quellen extrahiert wurden, um ihr Modell zu verbessern.

Das Team UnibucNLP setzte ein Ensemble von Klassifizierern ein, um ihre Vorhersagen zu verbessern. Ihr Ansatz zeigte eine solide Leistung in beiden Tracks, insbesondere im geschlossenen Track, der sich auf drei Labels konzentrierte.

Die Ergebnisse zeigten, dass die Aufgabe herausfordernd war, wobei viele Einreichungen Schwierigkeiten hatten, zwischen ähnlichen Varietäten zu unterscheiden, insbesondere wenn neutrale Labels beteiligt waren. Allerdings schnitt das Team VaidyaKane in der offenen Version der Aufgabe hervorragend ab, was darauf hindeutet, dass die Verwendung zusätzlicher Daten vorteilhaft war.

#Unterscheidung zwischen ähnlichen Sprachen - Sprache (DSL-S)

Die DSL-S-Aufgabe zielte darauf ab, Sprachen in Audiodaten zu identifizieren. Verschiedene Sprachen wurden aus verschiedenen Sprachfamilien ausgewählt, um die Unterschiede in den Sprachmustern hervorzuheben. Die Trainingsdaten stammten aus dem Mozilla Common Voice-Projekt, bei dem Freiwillige spezifische Sätze in ihren Sprachen vorlasen.

#Teilnehmer und Ansätze in DSL-S

Leider, obwohl zwei Teams für diese Aufgabe registriert waren, reichte keines Ergebnisse ein. Die Organisatoren stellten jedoch Basismodelle zur Verfügung, um den Teilnehmern eine Vorstellung davon zu geben, wie gut sie abschneiden könnten.

Details zu den Baselines zeigten, dass die reine Verwendung von Audio-Features zur Klassifikation aufgrund der Variabilität der Sprecher im Testset nicht effektiv war. Im Gegensatz dazu schnitten Modelle, die Transkription mit Klassifikation basierend auf Text kombinierten, deutlich besser ab.

Die Herausforderungen, die in DSL-S hervorgehoben wurden, verdeutlichten die Schwierigkeiten der Spracherkennung in Audio, insbesondere in ressourcenarmen Umgebungen, wo Daten begrenzt sind. Die Hoffnung ist, dass zukünftige Kampagnen mehr Interesse in diesem Bereich wecken.

#Fazit

Die VarDial Evaluierungskampagne 2023 bot spannende Möglichkeiten für Forscher, sich mit Aufgaben zur Sprachverarbeitung zu beschäftigen. Die drei gemeinsamen Aufgaben zeigten verschiedene Aspekte im Umgang mit ähnlichen Sprachen und Dialekten. Mit vielfältigen Teams und Ansätzen brachte die Kampagne wertvolle Einblicke in die Spracherkennung, sowohl in Text als auch in Sprache. Die Teilnehmer werden ermutigt, weiterhin diese Herausforderungen zu erkunden, da Fortschritte in diesem Bereich zu verbesserten Werkzeugen und Techniken für die Sprachverarbeitung in der Zukunft führen können.