Qualität bei Übersetzungsmodellen bewerten

Qualität ist wichtig, wenn's um den Aufbau von Übersetzungsmodellen geht, besonders für Sprachen, die nicht viele Ressourcen für Forscher haben. In diesem Artikel schauen wir uns die Qualität von web-minierten parallelen Korpora an, also Sammlungen von Texten in zwei Sprachen, die zum Trainieren von Übersetzungsmodellen genutzt werden. Wir untersuchen, wie sich diese Korpora in der Qualität unterscheiden und was das für die Übersetzung von Sprachen wie Sinhala und Tamil bedeutet.

#Die Bedeutung von Qualität in Übersetzungsmodellen

Übersetzungssysteme, auch bekannt als neuronale maschinelle Übersetzungsmodelle (NMT), sind stark davon abhängig, auf welchen Daten sie trainiert werden. Hochwertige Daten führen zu besseren Übersetzungen, während minderwertige Daten die Übersetzungsergebnisse verschlechtern können. Für Sprachen, die nicht häufig in der Technik verwendet werden, also sogenannte Ressourcenarme Sprachen, kann es eine grosse Herausforderung sein, gute Trainingsdaten zu finden.

#Web-minierte parallele Korpora

Web-minierte parallele Korpora werden erstellt, indem Texte aus dem Internet gesammelt werden, die in mehreren Sprachen verfügbar sind. Diese Korpora können praktisch sein, weil sie oft eine grosse Menge an Daten in vielen Sprachen enthalten. Allerdings kann die Qualität der Daten inkonsistent sein. Einige Sätze sind vielleicht korrekte Übersetzungen, während andere Fehler enthalten oder völlig falsch sind.

#Bewertung von web-minierten Korpora

Um die Qualität dieser web-minierten Korpora zu verstehen, haben wir eine Studie zu drei Sprachpaaren durchgeführt: Englisch-Sinhala, Englisch-Tamil und Sinhala-Tamil. Wir haben verschiedene Abschnitte der Daten danach eingestuft, wie ähnlich die Sätze in beiden Sprachen waren. Dann haben wir diese Abschnitte bewertet, um herauszufinden, wie gut oder schlecht die Übersetzungen waren.

Unsere Ergebnisse zeigten, dass es erhebliche Qualitätsunterschiede in verschiedenen Teilen der Korpora gibt. Besonders fiel auf, dass die am besten bewerteten Sätze oft viel besser waren als die am schlechtesten bewerteten. In einigen Fällen, als wir Übersetzungsmodelle nur mit den besten Abschnitten der Daten trainierten, war die Leistung fast gleichauf mit Modellen, die mit Daten von menschlichen Übersetzern trainiert wurden.

#Herausforderungen für ressourcenarme Sprachen

Eines der Hauptprobleme für ressourcenarme Sprachen ist, dass oft nicht genügend qualitativ hochwertige Übersetzungsdaten zur Verfügung stehen. Selbst der Einsatz fortschrittlicher Modelle, die auf grossen Datenmengen trainiert wurden, reicht möglicherweise nicht aus, um diesen Mangel an guten Beispielen zu überwinden. Das bringt Sprachen wie Sinhala und Tamil in eine benachteiligte Position.

Obwohl es öffentlich zugängliche web-minierte Korpora gibt, die mehr Daten für diese Sprachen versprechen, wie CCMatrix, CCAlign, WikiMatrix, NLLB und ParaCrawl, zeigte unsere Bewertung, dass viele dieser Korpora ernsthafte Qualitätsprobleme hatten. Zum Beispiel fanden wir in einer Stichprobe von Sätzen aus einem der Korpora viele Übersetzungen, die entweder falsch oder von niedriger Qualität waren.

#Der Bewertungsprozess

In unserer Forschung haben wir uns entschieden, nicht zufällig kleine Stichproben zur Bewertung der Qualität auszuwählen, sondern die Sätze nach ihrer Qualität zu ranken und sie in drei Gruppen zu unterteilen: die besten 25.000 Sätze, die schlechtesten 25.000 Sätze und eine zufällige Auswahl von 25.000 Sätzen. Das gab uns ein klareres Bild von der Qualität des gesamten Korpus.

Um die Qualität der Sätze zu bewerten, haben wir ein bestehendes Fehlerklassifikationssystem verbessert, das uns half, verschiedene Arten von Übersetzungsfehlern zu kategorisieren. Dann hatten wir menschliche Bewerter, die sich eine zufällige Stichprobe von Sätzen aus jeder Gruppe anschauten, um deren Qualität zu beurteilen.

#Wichtige Erkenntnisse

Aus unserer Bewertung haben wir mehrere wichtige Erkenntnisse gewonnen:

1. Qualitätsvariation: Es gab grosse Unterschiede in der Qualität zwischen den besten und schlechtesten Abschnitten der web-minierten Korpora. Zum Beispiel wurden in einem Korpus fast 35 % der besten Sätze als hochqualitativ bewertet, während nur etwa 0,4 % der schlechtesten Sätze dieses Qualitätsniveau erreichten.

2. Einfluss der Zufallsstichprobe: Wenn nur zufällige Stichproben bewertet wurden, schienen die Qualitätsprobleme viel schlimmer zu sein, als sie tatsächlich waren. Das zeigt, dass es notwendig ist, systematischere Ansätze zur Bewertung von Übersetzungsdaten zu entwickeln.

3. Unterschiede zwischen Sprachpaaren: Wir beobachteten, dass die Qualität der Übersetzungen je nach Sprachpaar erheblich variierte. Einige Paare hatten viel höhere Prozentsätze an qualitativ hochwertigen Übersetzungen als andere.

#Die Rolle menschlicher Bewerter

Um zuverlässige Ergebnisse zu erhalten, haben wir menschliche Bewerter engagiert, um die Übersetzungen zu bewerten. Sie verwendeten eine Skala, um die Qualität und Konsistenz der Satzpaare zu beurteilen. Ihre Bewertungen zeigten, dass die Qualität der web-minierten Korpora nicht einheitlich ist und dass Zufallsstichproben die wahre Qualität der Daten nicht widerspiegeln.

#Der Effekt der Datenbereinigung

Nachdem wir die anfängliche Qualität der Korpora bewertet hatten, entschieden wir uns, die besten 25.000 Sätze eines Korpus (NLLB) mit Hilfe von menschlichen Übersetzern zu bereinigen. Das Ziel war es, die Datenqualität weiter zu verbessern. Die Übersetzer überprüften die Sätze, korrigierten Fehler und schrieben problematische Übersetzungen neu.

Das Ergebnis dieser Bemühungen war ein bereinigter Korpus, der im Vergleich zum Original viel mehr hochwertige Übersetzungen enthielt. Allerdings gab es auch nach der Bereinigung noch einige Sätze, die nicht den perfekten Übersetzungsstandards entsprachen. Das zeigt die anhaltenden Herausforderungen, um qualitativ hochwertige Daten für das Training von Übersetzungsmodellen sicherzustellen.

#Leistung von Übersetzungsmodellen

Um zu sehen, wie die Qualität der Trainingsdaten die Modellleistung beeinflusste, trainierten wir Übersetzungsmodelle mit verschiedenen Datenportionen. Wir fanden heraus, dass die Modelle, die mit den besten 25.000 Sätzen trainiert wurden, durchweg besser abschnitten als die, die mit minderwertigen Portionen trainiert wurden.

Selbst als wir Modelle mit dem gesamten Datensatz trainierten, führte die Verwendung des besten Abschnitts immer noch zu besseren Ergebnissen. In einigen Fällen schnitten Modelle, die auf den besten Portionen trainiert wurden, sogar besser ab als solche, die auf menschlich kuratierten Korpora trainiert wurden.

#Bereinigung vs. frische Übersetzung

Wir wollten auch herausfinden, wie effektiv es war, Daten zu bereinigen im Vergleich zur Übersetzung neuer Sätze von Grund auf. Um das zu testen, liessen wir Übersetzer eine Reihe von 100 Sätzen frisch übersetzen und zeichneten die Zeit und die Qualität ihrer Arbeit auf.

Die Bereinigung des ursprünglichen Korpus stellte sich als etwas effizienter in Bezug auf die Zeit heraus, verglichen mit dem Übersetzen von Grund auf. Allerdings übertraf die Qualität der bereinigten Daten nicht die der neu übersetzten Sätze, was darauf hindeutet, dass, obwohl die Bereinigung hilfreich ist, sie nicht immer die beste Lösung sein könnte.

#Fazit

Unsere Ergebnisse heben die Komplexität hervor, die mit der Nutzung von web-minierten Korpora für die Entwicklung von Übersetzungsmodellen, insbesondere für ressourcenarme Sprachen, verbunden ist. Die Qualität dieser Korpora kann stark variieren, was die Effektivität von Übersetzungssystemen, die auf sie angewiesen sind, beeinflusst.

Es ist entscheidend zu erkennen, dass nicht alle Abschnitte eines web-minierten Korpus gleichwertig sind, besonders für Forscher, die an maschineller Übersetzung arbeiten. Einfach nur zufällige Stichproben zu verwenden, kann zu irreführenden Schlussfolgerungen über die Datenqualität führen. Stattdessen kann der Fokus auf die hochwertigsten Teile bessere Ergebnisse beim Training von Übersetzungsmodellen bringen.

Durch gründliche Bewertungen und Bereinigungsmassnahmen hoffen wir, künftige Forscher zu ermutigen, ähnliche Schritte zu unternehmen, wenn sie mit Daten für ressourcenarme Sprachen arbeiten. Das wird bessere Übersetzungsergebnisse gewährleisten und positiv zur Entwicklung von Sprachtechnologien beitragen.