Fortschritte in der maschinellen Übersetzung mit parallelen Sprachmodellen

Grosse Sprachmodelle (LLMs) sind richtig gut geworden in vielen Aufgaben, die mit der Verarbeitung von menschlicher Sprache zu tun haben. Eine dieser Aufgaben ist die maschinelle Übersetzung, also das Übersetzen von Texten von einer Sprache in eine andere. Früher hat das Training dieser Modelle oft auf Methoden beruht, die viele Schritte beinhalteten, wie das Anpassen von Anweisungen oder das häufige Trainieren des Modells. Allerdings gab es nicht viel Forschung dazu, wie gut LLMs abschneiden, wenn sie nur auf Daten trainiert werden, die Texte in verschiedenen Sprachen paaren.

In dieser Studie präsentieren wir ein neues Modell namens Parallel Language Model. Diese Sammlung enthält drei verschiedene Versionen von LLMs, jede mit 2 Milliarden Parametern und unterschiedlichen Wortschatzgrössen: 32k, 128k und 256k. Diese Modelle werden speziell auf Beispielen trainiert, die die katalanische Sprache mit acht anderen Sprachen verbinden. Unsere Modelle zeigen ähnliche Leistungen wie frühere Systeme, die eine andere Struktur (Encoder-Decoder) verwendet haben, um zwischen 16 bekannten Sprachpaaren und 56 Sprachpaaren zu übersetzen, die das Modell vorher nicht gesehen hat. Durch diese Modelle schauen wir uns genau an, wie gut LLMs übersetzen können, wie verschiedene Teile der Eingaben ihre Leistung beeinflussen und wie sie verschiedene Sprachen darstellen.

#Hintergrund zur Neuronalen maschinellen Übersetzung

Neuronale maschinelle Übersetzung (NMT) nutzt normalerweise zwei Komponenten: einen Encoder und einen Decoder. Der Encoder liest den Quelltext und der Decoder produziert den Zieltext, wobei er sich auf die Informationen stützt, die er vom Encoder erhält. In letzter Zeit haben Forscher Modelle untersucht, die nur den Decoder-Teil verwenden. In diesen Modellen dient der Quelltext als Eingabe, was den Prozess vereinfacht, da wir keinen separaten Encoder mehr brauchen.

Das wachsende Interesse an LLMs hat zu mehr Studien geführt, die sich darauf konzentrieren, diese Modelle für Übersetzungsaufgaben anzuwenden. Techniken wie Prompt-Tuning und Instruction-Finetuning wurden genutzt, um LLMs für die Übersetzung anzupassen, und obwohl diese Techniken gute Ergebnisse erzielt haben, wirft es Fragen auf, wie gut diese Modelle abschneiden würden, wenn sie nur auf gepaarten Daten trainiert werden.

Unsere Forschung zielt darauf ab, einige dieser Fragen zu beantworten, indem wir LLMs auf parallelen Daten trainieren, um ihre Leistung in der maschinellen Übersetzung zu bewerten. Wir möchten speziell wissen: Wie schlagen sich LLMs, die nur auf gepaarten Daten trainiert wurden, in Übersetzungsaufgaben? Wie effektiv nutzen sie Eingabeinformationen, um genaue Übersetzungen zu erstellen?

#Beiträge

Wir bieten zwei Hauptbeiträge in dieser Arbeit. Erstens stellen wir das Parallel Language Model vor, das aus drei verschiedenen mehrsprachigen LLMs besteht, die von Grund auf mit katalanisch-zentrierten gepaarten Texten trainiert wurden. Jede Version hat eine andere Wortschatzgrösse: 32k, 128k und 256k. Diese Modelle schneiden sowohl bei überwachten Übersetzungsaufgaben als auch in Null-Schuss-Szenarien gut ab, was bedeutet, dass sie übersetzen können, ohne zuvor diese spezifischen Sprachpaare im Training gesehen zu haben.

Zweitens analysieren wir, wie diese Modelle Übersetzungen erstellen, indem wir untersuchen, wie sie Informationen aus dem Kontext nutzen. Unsere Experimente zeigen einzigartige Aufmerksamkeitspatterns in verschiedenen Schichten des Modells und wie Variationen in den Eingaben die Leistung beeinflussen. Wir stellen auch fest, dass die Leistung signifikant variiert, wenn das Quellsprache-Tag fehlt. Als Nebenergebnis schlagen wir eine Methode vor, um bestimmte Aufmerksamkeitsköpfe im Modell zu entfernen, ohne die Leistung signifikant zu beeinträchtigen. Zudem untersuchen wir, wie das Modell Sprachen über seine Aufmerksamkeitslayer darstellt.

#Katalanisch-zentrierten Datensatz

Um die Übersetzungsfähigkeiten in Decoder-Only-Modellen zu untersuchen, nutzen wir einen Datensatz, der sich auf Katalanisch konzentriert. Dieser Datensatz enthält Satzpaare in Katalanisch und acht anderen Sprachen: Spanisch, Französisch, Italienisch, Portugiesisch, Galizisch, Deutsch, Englisch und Baskisch. Für jede Sprache haben wir Übersichtrichtungen von und nach Katalanisch. Unser Datensatz besteht aus 783,6 Millionen Sätzen, was mehr als 30 Milliarden Wörtern entspricht.

#Datenvorverarbeitung

Wir beginnen mit der Filterung der Daten mit einem Tool namens LaBSE. Dieser Schritt sorgt dafür, dass wir falsche Übersetzungen entfernen. Dann entfernen wir doppelte Einträge und normalisieren die Interpunktion mit einem anderen Tool namens Bifixer. Weitere Details zum Datensatz sind im Anhang zu finden.

#Tokenisierung und Eingabestrategie

Frühere Forschungen haben gezeigt, dass sich überlappende Wörter im Wortschatz erheblich auf die Übersetzungsleistung auswirken können. In unserem Fall trainieren wir drei Tokenizer mit unterschiedlichen Wortschatzgrössen (32k, 128k und 256k) mit BPE, einem Verfahren zur Tokenisierung. Unser Ziel ist es zu bewerten, wie die Grösse des Wortschatzes die Übersetzungsqualität beeinflusst, insbesondere in Szenarien, in denen das Modell nicht direkt auf einem bestimmten Sprachpaar trainiert wurde.

Für unsere Tokenizer wählen wir aus, die Darstellung verschiedener Sprachen in unseren Trainingsdaten auszubalancieren, um sicherzustellen, dass wir angemessene Beispiele aus jeder Sprache haben. Wir trainieren ein Modell für jede der drei Tokenizer-Grössen, wobei wir die gleiche Architektur wie ein zuvor etabliertes Modell namens Gemma 2B verwenden.

#Trainingseinstellungen

Alle Modelle werden mit einem Kontextfenster von 2048 Token trainiert, wobei eine spezifische Optimierungsmethode namens Adam-Optimizer verwendet wird, und wir konzentrieren uns auf den vorhersehbaren Lernprozess, der als kausales Sprachmodell bekannt ist. Es ist erwähnenswert, dass das Hauptziel dieser Forschung darin besteht, zu bewerten, wie effektiv LLMs übersetzen können, und nicht darin, die höchstmögliche Leistung zu erzielen.

#Bewertung der Übersetzungsqualität

Um die Übersetzungsqualität zu bewerten, verwenden wir mehrere Metriken, darunter BLEU-Scores und COMET-22. Wir wenden auch eine Methode namens TowerEval an, um Bewertungsmetriken zu berechnen. Für die Generierung von Übersetzungen verwenden wir eine Suchmethode namens Beam Search und beschränken die Länge der Übersetzungen auf 512 Token.

Unsere Modelle werden mit sowohl bilingualen als auch mehrsprachigen Modellen verglichen, darunter ein Transformer-Encoder-Decoder-Modell mit einer breiten Palette von Sprachunterstützungen und spezialisierten bilingualen Modellen, die auf bestimmten Sprachpaaren trainiert wurden.

#Ergebnisübersicht

#Leistung bei überwachten und Null-Schuss-Übersetzungen

Die Ergebnisse zeigen, dass die drei verschiedenen Tokenizermodelle (32k, 128k und 256k) in überwachten Übersetzungsaufgaben vergleichbare Leistungen erbringen und auf verschiedenen Datensätzen ähnlich bei den Bewertungsmetriken abschneiden. In Null-Schuss-Übersetzungsszenarien, obwohl die Modelle im Vergleich zu überwachten Richtungen etwas schlechter abschneiden, zeigen sie dennoch ein respektables Mass an Übersetzungskapazität. Das Modell mit der grössten Wortschatzgrösse (256k) erzielt bemerkenswerte Punkte in Null-Schuss-Aufgaben, was darauf hinweist, dass es effektiv übersetzen kann, auch wenn es nicht direkt auf spezifischen Paaren trainiert wurde.

#Bedeutung der Wortschatzgrösse

Wir haben festgestellt, dass eine grössere Wortschatzgrösse generell zu einer besseren Null-Schuss-Übersetzungsqualität führt. Unsere Analyse zeigt eine positive Beziehung zwischen der Überlappung von Wörterbuchwörtern in Quell- und Zielsprache und der Gesamtübersetzungsleistung. Diese Beobachtung legt nahe, dass die Überlappung des Wortschatzes eine entscheidende Rolle spielt, insbesondere wenn die Wortschatzgrössen kleiner sind.

#Verständnis des Modellsverhaltens

Um zu verstehen, wie die LLMs Übersetzungen durchführen, untersuchen wir, welche Teile der Eingabe für die Aufmerksamkeit des Modells wichtig sind. Dadurch können wir die Aufmerksamkeitsköpfe herausfinden, die für verschiedene Abschnitte der Eingabe am relevantesten sind. Wir analysieren, wie sich die Sprachdarstellungen des Modells durch seine Schichten entwickeln, indem wir die kontextuellen Token-Embeddings betrachten.

#Aufmerksamkeitsmechanismen

Wir berechnen die Aufmerksamkeitsabdeckung für spezifische Token in verschiedenen Schichten. Die durchschnittliche Abdeckung gibt an, wie viel Aufmerksamkeit jeder Teil der Eingabe während des Übersetzungsprozesses erhält. Unsere Ergebnisse legen nahe, dass das Quellsprache-Tag im Vergleich zu anderen Teilen der Eingabe die wenigste Aufmerksamkeit erhält, was zu unterschiedlichen Auswirkungen auf die Übersetzungsleistung führt, wenn dieses Tag fehlt.

#Redundanz in den Aufmerksamkeitsköpfen

Wir erkunden die Redundanz in den Aufmerksamkeitsköpfen, die ohne Beeinträchtigung der Modellleistung beschnitten werden können. Indem wir Aufmerksamkeitsköpfe maskieren, die keinen signifikanten Beitrag zur Übersetzungsqualität leisten, können wir die Übersetzungseffektivität aufrechterhalten und gleichzeitig das Modell vereinfachen.

#Sprachdarstellungsebenen

Wir untersuchen, wie das Modell lernt, verschiedene Sprachen durch seine Schichten darzustellen. Zunächst sind die Abstände zwischen Sprachdarstellungen relativ gross, aber je tiefer wir in das Modell einsteigen, desto geringer werden diese Abstände, was darauf hindeutet, dass das Modell sein Verständnis von Sprachbeziehungen verbessert.

#Visualisierung der Sprachdarstellung

Um zu visualisieren, wie sich die Token-Darstellungen entwickeln, verwenden wir Techniken wie UMAP, um Token-Embeddings in niedrigeren Dimensionen abzubilden. Unsere Visualisierungen zeigen, dass die Embeddings zwar sprachneutral über die Schichten bleiben, sich aber in der letzten Schicht nach Quellsprache gruppieren.

#Fazit und Ausblick

Diese Studie zeigt erfolgreich, dass ein LLM für Übersetzungsaufgaben trainiert werden kann, indem nur parallele Daten verwendet werden. Die Ergebnisse sind mit bestehenden Übersetzungssystemen vergleichbar und zeigen die Effektivität unseres Ansatzes. Grössere Wortschatzgrössen scheinen die Übersetzungsqualität zu verbessern, was darauf hindeutet, dass zukünftige Forschungen sich auf noch grössere oder sprachspezifische Wortschätze konzentrieren sollten.

Wir haben auch wichtige Bereiche für zukünftige Forschungen identifiziert, darunter die Analyse der Relevanz spezifischer Aufmerksamkeitsköpfe und die Optimierung der Wortschatzgrössen. Unsere Erkenntnisse bieten eine Grundlage für weitere Forschung zur maschinellen Übersetzung mit LLMs, die ausschliesslich auf gepaarten Daten trainiert wurden, um ein besseres Verständnis ihrer Fähigkeiten und Grenzen zu erlangen.

#Einschränkungen

Obwohl unsere Forschung wertvolle Einblicke bietet, ist es wichtig, bestimmte Einschränkungen zu berücksichtigen. Der verwendete Datensatz konzentriert sich hauptsächlich auf westliche Sprachen mit lateinischen Schriften, was die Übertragbarkeit unserer Ergebnisse auf andere Sprachfamilien beeinflussen könnte. Darüber hinaus bleibt der Einfluss der Skalierung der Modellgrösse und der Verfügbarkeit von Daten auf die Übersetzungsleistung in zukünftigen Studien zu erforschen.

#Zusätzliche Erkenntnisse

In unseren Experimenten haben wir auch untersucht, wie verschiedene Modelle und deren Einstellungen die Übersetzungsfähigkeiten beeinflussten. Wir haben die Effektivität verschiedener Tokenisierungsstrategien und deren Ergebnisse bei Übersetzungsaufgaben dokumentiert. Die Fähigkeit unserer Modelle, eine breite Palette von Sprachen und Übersetzungsszenarien zu bewältigen, deutet auf ein Potenzial für praktische Anwendungen in realen Übersetzungsbedarfen hin.

Insgesamt stellt diese Forschung einen Fortschritt im Verständnis dar, wie LLMs auf Übersetzungsaufgaben mit parallelen Daten angewendet werden können, und ebnet den Weg für Entwicklungen in diesem wachsenden Forschungsbereich.