並列言語モデルを使った機械翻訳の進歩

大規模言語モデル（LLM）は、人間の言語を処理する多くのタスクにおいて非常に優れた性能を発揮するようになった。その中の一つが機械翻訳で、テキストを別の言語に翻訳するプロセスだ。過去には、これらのモデルのトレーニングに多くのステップを含む方法が使われており、指示を調整したり、モデルを繰り返しトレーニングしたりしていた。しかし、異なる言語のテキストをペアにしたデータだけでトレーニングした場合のLLMの性能についてはあまり研究が行われていなかった。

この研究では、Parallel Language Model（並列言語モデル）という新しいタイプのモデルを提案する。このコレクションには、すべてに20億のパラメータを持つ3つの異なるバージョンのLLMが含まれ、ボキャブラリーサイズは32k、128k、および256kの異なるものだ。これらのモデルは、カタルーニャ語と他の8つの言語をつなぐ例に特化してトレーニングされている。私たちのモデルは、16の既知の言語ペア間の翻訳と、モデルが以前に見たことがない56の言語ペア間の翻訳において、異なる構造（エンコーダ-デコーダ）を使用した従来のシステムと同様の性能を示している。このモデルを通じて、LLMがどれだけ翻訳できるか、プロンプトの異なる部分が性能にどう影響するか、異なる言語をどのように表現するかを詳しく見ていく。

#ニューラル機械翻訳の背景

ニューラル機械翻訳（NMT）は通常、エンコーダとデコーダの2つのコンポーネントを使用する。エンコーダがソーステキストを読み取り、デコーダがターゲットテキストを生成するが、デコーダ部分のみを使用するモデルについて最近研究が進んでいる。これらのモデルでは、ソーステキストがプロンプトとして機能するため、別のエンコーダが不要になりプロセスが簡素化される。

LLMへの関心が高まる中、これらのモデルを翻訳タスクに応用するための研究が増えてきた。プロンプト調整や指示微調整といった技術がLLMに翻訳を適応させるために使われ、これらの技術は良好な結果を出しているが、ペアデータのみでトレーニングされた場合の性能について疑問が生じる。

私たちの研究は、LLMを並列データでトレーニングして機械翻訳における性能を評価することによって、これらの疑問に対する答えを提供することを目指している。特に知りたいのは、ペアデータのみでトレーニングされたLLMは翻訳タスクでどのような成績を出すのか、プロンプト情報を利用して正確な翻訳を作成する能力はどれほどかということだ。

#貢献

この研究では、2つの主な貢献を提供する。まず、カタルーニャ語を中心にペアテキストからゼロからトレーニングされた3つの異なる多言語LLMで構成されるParallel Language Modelを紹介する。それぞれのバージョンには異なるボキャブラリーサイズ（32k、128k、256k）があり、これらのモデルは、監視付き翻訳タスクとゼロショットシナリオの両方で良好な性能を発揮する。つまり、トレーニング中に特定の言語ペアを見たことがなくても翻訳できる。

次に、これらのモデルが翻訳をどのように行うかを分析し、コンテキストからの情報をどのように活用しているかを調べる。実験からは、モデルの異なる層におけるユニークな注意パターンやプロンプトの変化が性能に与える影響が明らかになる。また、ソース言語タグが欠けているときに、言語ごとに性能が大きく異なることも確認した。副次的な結果として、モデルの性能に大きな影響を与えずに特定の注意ヘッドを削除する方法を提案し、モデルが注意層を通じて言語をどう表現しているかを研究する。

#カタルーニャ中心のデータセット

デコーダ専用モデルの翻訳能力を調査するために、カタルーニャ語に焦点を当てたデータセットを使用する。このデータセットには、カタルーニャ語と他の8つの言語（スペイン語、フランス語、イタリア語、ポルトガル語、ガリシア語、ドイツ語、英語、バスク語）での文のペアが含まれている。各言語について、カタルーニャ語との翻訳方向が設定されており、データセットには783.6百万文が含まれ、30億語以上に相当する。

#データ前処理

まず、LaBSEというツールを使ってデータをフィルタリングし、誤訳を取り除く。このステップで重複エントリーを削除し、Bifixerという別のツールを使用して句読点を正規化する。データセットの詳細は付録で提供している。

#トークン化とプロンプト戦略

以前の研究では、ボキャブラリー内の単語の重複が翻訳性能に大きく影響することが示されている。この場合、32k、128k、256kの異なるボキャブラリーサイズで3つのトークナイザーをトレーニングし、BPEというトークン化手法を使用する。私たちの目標は、ボキャブラリーのサイズが翻訳品質にどのように影響するかを評価すること、特にモデルが特定の言語ペアに直接トレーニングされていないシナリオでの影響を探ることだ。

トークナイザーにおいては、トレーニングデータ内の異なる言語の表現をバランスよく保ち、各言語から十分な例を確保するようにする。3つのトークナイザーサイズごとに1つのモデルをトレーニングし、以前に確立されたGemma 2Bというモデルと同じアーキテクチャを使用する。

#トレーニング設定

すべてのモデルは、2048トークンのコンテキストウィンドウでトレーニングされ、Adamオプティマイザーという特定の最適化手法を使用し、予測可能な学習プロセスである因果言語モデリングに焦点を当てる。この研究の主な目標は、LLMがどれだけ効果的に翻訳できるかを評価することであり、最高のパフォーマンスを目指すことではない。

#翻訳品質の評価

翻訳品質を評価するために、BLEUスコアやCOMET-22などのいくつかの指標を使用する。また、評価指標を計算するためにTowerEvalという手法を用いる。翻訳生成にはビームサーチという探索手法を使用し、翻訳の長さを512トークンに制限する。

私たちのモデルは、さまざまな言語サポートを持つトランスフォーマーエンコーダー-デコーダー型のバイリンガルおよびマルチリンガルモデルと比較される。

#結果の概要

#監視付きおよびゼロショット翻訳における性能

結果は、3つの異なるトークナイザーモデル（32k、128k、256k）が監視翻訳タスクで同様にパフォーマンスを発揮し、さまざまなデータセットで評価指標がほぼ同じであることを示している。ゼロショット翻訳シナリオでは、モデルは監視された方向と比較してわずかに性能が劣るが、それでも尊敬に値する翻訳能力を示す。最も大きなボキャブラリーサイズ（256k）のモデルは、ゼロショットタスクで顕著なスコアを達成し、特定のペアを直接トレーニングされていなくても効果的に翻訳できることを示している。

#ボキャブラリーサイズの重要性

ボキャブラリーサイズが大きいほど、ゼロショット翻訳品質が一般的に向上することが分かった。分析から、ソース言語とターゲット言語のボキャブラリー単語の重複と全体的な翻訳性能の間に正の関係があることが示唆される。この観察は、特にボキャブラリーサイズが小さい場合に、ボキャブラリーの重複が重要な役割を果たすことを示している。

#モデルの動作の理解

LLMが翻訳をどのように行うかを理解するために、プロンプトのどの部分がモデルの注意に重要であるかを調べる。これにより、プロンプトの異なるセクションに対して最も重要な注意ヘッドを特定することができる。文脈トークンの埋め込みを通じて、モデルの言語表現が層を通じてどのように進化するかを分析する。

#注意メカニズム

異なる層における特定のトークンの注意カバレッジを計算する。平均カバレッジは、翻訳プロセス中に各プロンプトの部分がどれだけ注意を受けるかを示す。結果は、ソース言語タグが他のプロンプト部分と比較して最も少ない注意を受けることを示し、このタグが欠けているときの翻訳性能に変動をもたらす。

#注意ヘッドの冗長性

注意ヘッドの冗長性を探り、モデルの性能を損なうことなく剪定できるものを見つける。翻訳品質にあまり寄与しない注意ヘッドをマスクすることで、翻訳効果を維持しつつモデルを簡素化することができる。

#言語表現空間

モデルが層を通じて異なる言語をどのように表現するかを調査する。最初は言語表現間の距離が比較的高いが、モデルの深層に進むにつれてこれらの距離が減少し、モデルが言語関係の理解を深めていることを示す。

#言語表現の視覚化

トークン表現がどのように進化するかを視覚化するために、UMAPのような技術を使用してトークン埋め込みを低次元にマッピングする。視覚化の結果、埋め込みは層を通じて言語に中立的なまま保たれているが、最終層ではソース言語ごとにクラスタリングが始まることが明らかになる。

#結論と今後の研究

この研究は、LLMが並列データのみを使用して翻訳タスクのためにトレーニングできることを成功裏に示している。結果は既存の翻訳システムと比較可能であり、私たちのアプローチの効果を示している。ボキャブラリーサイズが大きいほど翻訳品質が向上する傾向があり、今後の研究はさらに大きな、あるいは言語特有のボキャブラリーに焦点を当てるべきだ。

また、今後の探求のための重要な領域として、特定の注意ヘッドの関連性の分析やボキャブラリーサイズの最適化を特定した。この発見は、ペアデータのみに基づいてトレーニングされたLLMを使用した機械翻訳におけるさらなる研究の基盤を提供し、その能力と限界を理解するための道を開く。

#制限事項

私たちの研究は貴重な洞察を提供するが、特定の制限を考慮することが重要だ。使用されたデータセットは主にラテン文字の西洋言語を中心にしており、他の言語ファミリーへの一般化に影響を与える可能性がある。また、モデルのサイズやデータの可用性のスケーリングが翻訳性能に与える影響については、今後の研究で探求される必要がある。

#追加の洞察

実験では、異なるモデルや設定が翻訳能力にどのように影響するかも調査した。さまざまなトークン化戦略の効果と、それらの翻訳タスクにおけるパフォーマンスの記録も行った。私たちのモデルが幅広い言語や翻訳シナリオに対処できる能力は、実際の翻訳ニーズにおける応用の可能性を示唆している。

全体として、この研究はLLMが並列データを用いて翻訳タスクに適用できる方法を理解するための一歩前進を示しており、この成長する研究分野での発展の道を切り開いている。