Qualitätsschätzung in der maschinellen Übersetzung verbessern

Qualitätsschätzung (QE) ist mega wichtig im Bereich der maschinellen Übersetzung (MT). Sie hilft Übersetzungsprofis schnell zu beurteilen, wie gut ein übersetzter Text ist. Das kann Zeit sparen, weil man sieht, wie viel bearbeitet werden muss. Aber der Erfolg von QE hängt davon ab, gute Trainingsdaten zu haben. Leider sind hochwertige, beschriftete Daten oft rar. Daten zu kennzeichnen braucht jede Menge Ressourcen und Aufwand, was es schwierig macht, genug davon zu sammeln. Ausserdem müssen QE-Modelle in verschiedenen Themen oder Bereichen gut funktionieren, was eine zusätzliche Herausforderung darstellt.

In diesem Artikel reden wir über einen neuen Ansatz, der zwei Techniken kombiniert: Domänenanpassung (DA) und Datenaugmentation (DAG). Wir konzentrieren uns darauf, die Qualität von QE-Modellen zu verbessern und gleichzeitig die zwei Hauptprobleme anzugehen: den Mangel an Qualitätsdaten und die Notwendigkeit, dass Modelle in verschiedenen Bereichen gut abschneiden.

#Die Bedeutung der Qualitätsschätzung

Die Vorhersage der Qualität von MT-Ausgaben ist der Schlüssel in Übersetzungsprozessen. Sie gibt Übersetzern eine Idee, wie nützlich eine Übersetzung ist und wie viel Korrektur sie braucht. Qualitätsschätzung zielt darauf ab, den menschlichen Aufwand bei der Beurteilung dieser Qualität zu verringern. Sie schätzt die Qualität der Übersetzung, ohne Referenztexte zum Vergleichen zu benötigen.

QE kann auf verschiedenen Ebenen durchgeführt werden: Wort-, Satz- oder Dokumentenebene. Wir fokussieren uns auf die Qualitätsschätzung auf Satzebene, die eine Qualitätsbewertung für einzelne übersetzte Sätze vorhersagt. Dies wird normalerweise auf Basis des Originalsatzes und seiner Übersetzung bestimmt. Die Qualitätsbewertung kann in verschiedenen Formen ausgedrückt werden, zum Beispiel durch spezifische Metriken wie TER, HTER oder BLEU. Ein QE-System auf Satzebene benötigt normalerweise übereinstimmende Daten, die den Originalsatz, seine Übersetzung und ein Qualitätslabel zeigen.

Dennoch kommen die meisten Qualitätslabels aus den Übersetzungs- und Bearbeitungsprozessen, die zeitaufwändig und teuer sind. Das schränkt die Menge an verfügbaren QE-Daten ein.

Initiativen wie die WMT QE Shared Task haben Plattformen bereitgestellt, um verschiedene QE-Systeme zu vergleichen und verfügbare Daten zu teilen. Dennoch bleiben diese Ressourcen für viele Sprachpaare und verschiedene Themen begrenzt, was Herausforderungen für QE-Modelle darstellt, insbesondere für solche, die auf grossen vortrainierten Sprachmodellen (LLMs) basieren. Das Feintuning dieser Modelle mit kleinen Datenmengen kann zu instabilen Ergebnissen führen. Zudem haben Modelle, die auf einem Datentyp trainiert wurden, oft Probleme, wenn sie mit anderen Datentypen konfrontiert werden, was zu einem Leistungsabfall führt.

#Herausforderungen angehen

Um QE-Modelle besser an verschiedene Bereiche anzupassen und die Leistung trotz begrenzter Daten zu verbessern, kombiniert unser Ansatz Domänenanpassung und Datenaugmentation. Der Prozess beginnt mit dem Training eines breiten QE-Modells, das später mit spezifischen Daten angepasst wird. Das hilft, allgemeines Wissen zu behalten und die Modellleistung in bestimmten Bereichen zu verbessern.

Wir haben Experimente mit echten und synthetischen Daten in bilingualen, kreuzsprachlichen und Zero-Shot-Kontexten durchgeführt. Wir haben uns auf mehrere Sprachpaare konzentriert, darunter Englisch nach Deutsch, Chinesisch, Italienisch, Tschechisch und Japanisch sowie Rumänisch und Russisch nach Englisch. Die Ergebnisse zeigten deutliche Verbesserungen bei allen getesteten Sprachpaaren.

#Übersicht der Methodik

#Schritte in der Domänenanpassung für QE

Unser Ansatz besteht aus strukturierten Schritten, die darauf abzielen, LLM-basierte QE-Modelle mit begrenzten domänenspezifischen Daten zu trainieren. Zuerst verwenden wir eine Kombination aus In-Domain (ID) und Out-of-Domain (OOD) Daten für das Training.

1. Schritt 1: Wir beginnen mit dem Training eines QE-Modells, das nur OOD-Daten nutzt, bis es stabil ist. Das hilft, ein Basis-Modell zu entwickeln, das verschiedene Übersetzungssysteme verarbeiten kann.

2. Schritt 2: Danach feintunen wir das Modell mit einer Mischung aus OOD- und ID-Daten. Hier nutzen wir verschiedene Arten von ID-Daten, um die Fähigkeit des Modells zu verbessern, die Qualität im spezifischen Bereich zu schätzen, während es allgemeines Wissen behält.

3. Schritt 3: Schliesslich führen wir ein weiteres Training auf einem spezifischen ID-Datensatz durch und verfeinern das Modell, um genauere Qualitätsschätzungen für diesen Bereich zu liefern.

#Techniken zur Datenaugmentation

Wir haben nach Wegen gesucht, die Nutzung begrenzter ID-Ressourcen zu verbessern, einschliesslich der Erstellung synthetischer ID-Daten.

1. Ansatz 1: Wir haben alle verfügbaren ID-Daten für die verschiedenen Sprachen kombiniert, um einen grösseren Datensatz für das Training zu erstellen. Die mehrsprachige Fähigkeit des XLM-R-Modells ermöglicht es, es für verschiedene Sprachpaare anzupassen.

2. Ansatz 2: Wenn authentische Daten ausgehen, generieren wir zusätzliche ID-Daten mit Hilfe von Maschinenübersetzungsmodellen. Dieser Prozess umfasst das Übersetzen einer Auswahl von Trainingsmustern und das Erstellen von Qualitätslabels basierend auf den Ergebnissen.

#Zusätzliche Domänenindikatoren

Um verschiedene Bereiche effektiv zu verwalten, haben wir zusätzliche Tags am Anfang oder Ende von Sätzen eingefügt. Das hilft dem Modell, die Domäne des verarbeiteten Satzes zu erkennen.

Wir haben zwei Modi beobachtet:

• Mit Tag: Wir haben entweder <OOD> oder <ID> am Ende der Sätze angehängt, basierend auf der Quelle der Daten.
• Ohne Tag: Der Trainingsprozess blieb unverändert ohne Verwendung von Tags.

#Experimente und Datengruppen

Wir haben unsere Daten in drei Gruppen kategorisiert, um unsere QE-Modelle zu testen und zu trainieren.

#Gruppe 1

Diese Gruppe half beim Aufbau von ID- und OOD-QE-Modellen. Sie beinhaltete ID-Daten, die aus der WMT 2021 Shared Task gesammelt wurden, die Post-Editing-Daten für verschiedene Sprachpaare bot.

#Gruppe 2

Diese Gruppe konzentrierte sich auf die Erstellung von Maschinenübersetzungssystemen im Rahmen von Ansatz 2. Sie umfasste das Sammeln paralleler Daten aus einer Datenbank und das Trainieren von Modellen, um synthetische ID-Daten zu generieren.

#Gruppe 3

Diese Gruppe testete die Zero-Shot-Fähigkeiten der trainierten QE-Modelle. Wir nutzten spezifische Testsätze, um die Leistung ohne vorherige Exposition gegenüber diesen Sprachen im Training zu bewerten.

#Qualitätsschätzungsrahmen

Wir haben einen neuen QE-Rahmen entwickelt, um mehrsprachige Modelle effizient zu nutzen. Der Rahmen ist ähnlich strukturiert wie bestehende Modelle, aber angepasst, um unseren Bedürfnissen gerecht zu werden, insbesondere in Bezug auf Tokenisierung und Tagging.

#Training und Bewertung

Wir haben unseren Ansatz für das Training und die Bewertung von QE-Modellen umrissen und die Prozesse beschrieben, die in jeder Phase und die verwendeten Metriken zur Bewertung beteiligt sind. Wir haben einen Stoppmechanismus verwendet, um sicherzustellen, dass die Modelle nicht übertrainiert werden und die Leistung ohne relevante Verbesserungen beibehalten.

#Ansatz zur maschinellen Übersetzung

Die Generierung synthetischer ID-Daten ist ein entscheidender Teil unserer Strategie. Im Gegensatz zu früheren Methoden, die auf allgemeinen Übersetzungsmodellen basierten, haben wir spezifische MT-Modelle auf Teilmengen von Originaldaten trainiert, um die Qualität der produzierten Übersetzungen zu verbessern. Das stellt sicher, dass die Trainingsdaten eng mit dem Vokabular und Stil der tatsächlichen Daten übereinstimmen, die für die Übersetzung verwendet werden.

#Baseline-Vergleich und Ergebnisse

Um unsere Verbesserungen zu messen, haben wir eine Baseline festgelegt, indem wir das XLM-R-Modell mit ID-Daten feingetunt haben. Wir haben verschiedene Vergleiche durchgeführt, um zu prüfen, wie unser Ansatz im Vergleich zu bestehenden Methoden abschneidet.

Unsere Erkenntnisse zeigten signifikante Leistungsverbesserungen über die meisten Sprachpaare hinweg. Wir haben auch die Effektivität der Verwendung von Tags im Prozess der Domänenanpassung analysiert. Die Ergebnisse zeigten, dass die Verwendung von Tags oft die Leistung verbesserte, die Auswirkungen aber je nach Sprache variierten.

#Zero-Shot-Fähigkeiten

Um zu bewerten, wie gut unsere Modelle in Zero-Shot-Kontexten abschnitten, haben wir die Ausgaben mit Basismodellen verglichen. Die Ergebnisse deuteten darauf hin, dass unsere Methode allgemein die herkömmlichen Modelle in diesen Szenarien übertroffen hat, was das Potenzial für breitere Anwendungen zeigt.

#Kreuzsprachliche Inferenz

Ein bemerkenswerter Erfolg unserer Methodik ist die verbesserte Fähigkeit zur kreuzsprachlichen Inferenz. Unsere Modelle schnitten nicht nur in ihren spezifischen Aufgaben gut ab, sondern zeigten auch verbesserte Fähigkeiten bei der Qualitätsschätzung über verschiedene Sprachpaare hinweg.

#Fazit

Wir haben wichtige Themen im Zusammenhang mit der Qualitätsschätzung in der maschinellen Übersetzung hervorgehoben, insbesondere die Herausforderungen von Datenknappheit und der Leistung über verschiedene Domänen. Durch die Kombination von Techniken zur Domänenanpassung mit Datenaugmentation haben wir eine strukturierte Lösung angeboten, die die Effektivität von QE-Modellen erheblich verbessert hat.

Unsere Experimente zeigten erhebliche Verbesserungen über die getesteten Sprachpaare, was die Vorteile sowohl von DA- als auch von DAG-Ansätzen bestätigte. Darüber hinaus zeigten unsere Ergebnisse, dass die Verwendung von Domänen-Tags die Modellleistung weiter verfeinern könnte.

Für die Zukunft wäre eine weitere Erforschung von ressourcenarmen Sprachen und die Nutzung anderer OOD-Datenarten wertvoll. Wir empfehlen auch, andere grosse Sprachmodelle zu bewerten, um den Umfang dieser Forschung zu erweitern. Das übergeordnete Ziel bleibt, die Qualitätsschätzung in der maschinellen Übersetzung zu verbessern und sie anpassungsfähiger über verschiedene Bereiche und Kontexte hinweg zu gestalten.