モデル協力による翻訳の改善

最近の自然言語処理（NLP）の進展により、特定のタスク、たとえば言語翻訳や画像処理に優れたモデルが開発されてる。だけど、実際のタスクは多くのスキルの組み合わせが必要で、特にテキストと画像を含む翻訳のような仕事ではそうだね。個別の翻訳モデルや画像処理モデルはそれぞれ強力だけど、一つのシステムでうまく連携できないのは、同じ語彙を使わせてないからなんだ。これが、彼らの強みを効果的に組み合わせるのを難しくしてる。

この記事では、異なるモデルが追加のトレーニングなしに翻訳プロセスで一緒に機能する新しい方法を紹介するよ。私たちのアプローチは、生成された翻訳を個別の単語に基づいて再スコアリングすることで、スピーチと画像の両方を考慮した翻訳を改善する手助けをする。

#背景

さまざまな大型言語モデル（LLM）が急速に作成されている。特定の分野に焦点を当てたモデルもあれば、様々なデータタイプを扱うことを目指すモデルもある。つまり、多くのモデルが用意されていて、それぞれに強みと弱みがあるってわけ。

映画の中の話された言語を翻訳するような多くのアプリケーションでは、翻訳とビジョンモデルの強みを組み合わせることが重要だ。ビジュアルヒントが意味を明確にして、正確な翻訳を保証するのに役立つから。現在のLLM、たとえばTowerやAlma-Rは翻訳に優れているし、PaliGemmaやLLavaのようなモデルはビジョンタスクに強い。テキストと画像の両方を必要とするタスクに効果的に取り組むためには、両方のモデルを使うのが大事。

#モデルの統合

これらのモデルを統合する一つの方法は、翻訳とビジュアル入力の両方を扱える新しいモデルを作成すること。でも、この方法は追加のトレーニングや特定のデータが必要で、すぐに手に入らないこともある。別の方法としては、単純なテクニックを使って二つのモデルを組み合わせること、たとえば出力を統合したり、生成後に最良の翻訳を再ランキングしたりすること。

だけど、単純な統合の方法には欠点があって、両方のモデルが同じ語彙を使っていることを前提にしてることが多い。残念ながら、今のほとんどのオープンソースモデルではこれが通常のケースじゃない。

#翻訳のあいまいさ

翻訳でよくある課題は、ソース文が不明瞭な場合だ。たとえば、「fell」という単語は、話し手の性別に応じて「tombé」（男性）または「tombée」（女性）と翻訳できる。一部のモデル、たとえばSeamless-Large V2は音声を使って性別を正確に判定できるけど、名前には苦労することがある。一方、Madlad-400-10b-mtのような他のモデルは、名前を正しく翻訳できるけど、音声から話し手の性別を常に識別できるわけじゃない。両方のモデルを組み合わせることで、性別と名前の両方を考慮した正確な翻訳が実現できる。

#従来の再ランキングの限界

最良の翻訳を再ランキングするだけでは不十分で、モデル同士がデコーディングプロセス中に影響を与えることができない。たとえば、英語からフランス語のような性別を持つ言語に翻訳する場合、スピーチモデルは「fell」を正確に翻訳できるけど、名前を誤って認識するかもしれない。一方、テキストベースの翻訳モデルは名前を正しく取得できるけど、性別の問題には対応できないことがある。つまり、再ランキングに依存するだけでは、正しい翻訳が抜け落ちる可能性があるから、最良の結果を保証することはできない。

さらに、リアルタイムのシナリオでは再ランキングが実用的でなくなることがある。なぜなら、仮説がデコーディング中に完全でないことが多く、不正確な確率推定につながってしまうから。だから、語彙の不一致を解決する必要がある。一つのモデルの語彙を他のモデルにマッピングすることは可能だけど、それには多くの追加トレーニングが必要で、元のモデルの性能が変わるリスクもある。だから、追加のトレーニングやデータなしで異なるモデルの能力を統合するプラグアンドプレイシステムを開発するのが良い解決策なんだ。

#私たちのアプローチ

私たちの方法の目標は、従来の方法に頼らず、ランキングモデルがリアルタイムでデコーディングプロセスに影響を与えられるようにすることだ。これを実現するために、ランキングモデルが完成した単語のスコアにのみ影響を与え、最後の単語がまだ不完全な場合は影響を与えないようにしてる。また、ランキングモデルを使って最後の単語が完成しているかどうかを予測し、時間を節約しつつ効率を保ってる。

#オンライン再ランキングアルゴリズム

デコーディング中に行われる単語レベルの再ランキングアルゴリズムを提案することで、異なるモデルからの情報をより良く統合して正確さを向上させる。従来の方法とは違って、追加のトレーニングを必要とせず、異なる強みを持つモデルを組み合わせるための柔軟で実用的なアプローチなんだ。

#コンテキストを考慮した翻訳

私たちの実験では、スピーチと画像の両方から情報を必要とするターゲットマルチモーダルテストセットを使用することで、異なるモデルの強みを成功裏に統合し、翻訳が改善されることを示している。

#柔軟なアンサンブルの必要性

言語モデルのトレーニング方法が多様であることを考えると、異なるモダリティ間で知識を共有するためにモデルを組み合わせることは非常に有益だ。私たちのアンサンブル技術は、いくつかの基準を満たす必要がある：

1. 共有語彙に依存しないことにより、モデルの選択に柔軟性をもたらす。
2. デコーディング中の効果的な知識共有を促進し、利用可能な情報を最大限に活用する。
3. 追加のトレーニング、パラメータ、特定のデータを必要とせず、最大のユーザビリティを確保する。

#再ランキングの課題への対処

現代の翻訳モデルが様々なトークン化手法を使用すると、異なる語彙が生成されることがある。再ランキングは、他のシステムによって生成された翻訳の確率を推定するのに役立つかもしれない。ただし、トークンの不一致が再ランキング中の不正確な推定につながることがある。

たとえば、モデルAとモデルBの二つのモデルを考えてみよう。モデルAが異なるトークン化で文を生成した場合、それがトークンの不一致を引き起こすことがある。もしモデルBがこのプロセス中に再ランキングを試みると、自分のトークナイザーによって生成されたトークンを期待しているため、正確な可能性スコアを提供できないかもしれない。

#単語の終了予測

効果的に再ランキングするためには、単語が完成したかどうかを認識する必要がある。単語が完成している場合、正しく評価できるし、不完全な単語はプロセスを混乱させるべきじゃない。私たちは、最後の単語が終了しているかどうかをランカーが次のトークンを予測することで確認することを提案する。

もしランカーが次のキャラクターがスペースであることを示唆すれば、それは最後の単語が終了していることを示し、正確な確率推定が可能になる。このアプローチは効率的で、両方のモデルの一回のパスだけで済むので、デコーディングプロセスをスムーズに保つ。

#オンライン再ランキングの統合

単語レベルの焦点を持ったリアルタイム再ランキングを実現するために、ビームサーチをデコーディング戦略として適用する。デコーディングの各ステップで、候補のシーケンスのセットを維持する。各シーケンスに対して、次のトークンで拡張する可能性を計算する。

すべての可能な拡張を検討するのではなく、最上位の候補のみを見ることで、計算量を大幅に減少させる。選ばれた候補に対して、ランカーが追加のスコアを提供し、それを元のジェネレーターのスコアと組み合わせる。

最終スコアを計算する際には、未完成の最後の単語に対するランカーの推定を除外することが重要だ。そうすることで、最終スコアの正確さを確保する。

#品質推定の影響

私たちの方法の重要な目標の一つは、生成された翻訳のリストから最良のものを選択するために品質推定を使用することだ。さまざまな指標を使用して、私たちの方法の効果を検証する。

モデルを組み合わせる際、私たちはオンライン再ランキング手法を従来のオフラインアプローチと比較する。テストの結果、オンライン手法を使用することで一貫してパフォーマンスが改善されることがわかった。これは翻訳の質を向上させるのに効果的であることを示している。

#スピーチを考慮した翻訳

翻訳の性別のあいまいさに対処するために、優れたスピーチモデルと強力なテキスト翻訳モデルを組み合わせて、音声の手がかりに基づいて性別を正確に識別できるようにしてる。テキストにはMadladを、スピーチにはSeamlessを使うことで、話し手の性別を考慮した高品質な翻訳を作成できるんだ。

Seamlessが男性語に偏る傾向を示してるけど、性別注釈付きデータセットを使ってモデルをバランスさせるための追加のトレーニング手法を導入し、翻訳における性別問題の解決精度を向上させてる。

#パフォーマンスの評価

私たちのアプローチの効果を測定するために、性別のあいまいさの解消と全体的な翻訳品質のためのいくつかの指標を使用する。結果は、性別認識と翻訳精度の間の良いバランスを見つけたことを示している。

さまざまな設定を観察することで、Seamlessが性別問題にはよく対応する一方で、Madladは一般的な翻訳品質に優れていることがわかる。これら二つのモデルを組み合わせることで、両方の領域で大きな改善が見られる。

#画像を考慮した翻訳

翻訳プロセスに視覚情報を組み込むために、テキストのあいまいさを解消するのを助けるために微調整されたビジョンモデルを利用してる。私たちの実験では、これらのモデルが追加のコンテキストを提供することで翻訳の質を大幅に向上させることができるとわかった。

最初は既存のモデルで試したけど、その性能には満足できなかった。そこで、新しいモデルPaliGemmaを適応して、画像のキャプション生成のためにトレーニングした後、翻訳タスクに微調整したところ、翻訳品質が明らかに改善されたけど、他のモデルのパフォーマンスにはまだ及ばなかった。

#オフラインとオンライン再ランキングの比較

オフラインとオンラインの再ランキング手法を比較した結果、翻訳品質にはわずかな改善しか見られなかった。どちらの方法も翻訳パフォーマンスを向上させるが、オンラインアプローチは長文や複雑な文に対して潜在的な利点を示している。

#関連研究

さまざまな言語モデルを翻訳システムに統合することは、重要な研究分野だ。多くの手法が、モデルをマージしたり再ランキングしたりする試みをしてきたが、固定された重みや共有の語彙に依存することが多く、柔軟性が制限されることがある。

私たちの方法は、共通の語彙や追加のデータセットに依存せず、モデル間のリアルタイムの協力に焦点を当てていることで際立っている。これにより、異なるモダリティ間での翻訳タスクを改善するための実行可能なソリューションとなっている。

#今後の方向性

今後、特定のタスクに対してモデルの強みに基づいて動的にモデルを選択する無監督手法を探る予定だ。これにより、私たちのアプローチの現在の制限に対処できるかもしれない。

もう一つの課題として、文字ベースの言語に適用できない可能性がある単語レベルの統合に焦点を当てている。将来の研究では、こうした言語に私たちの手法を適応する方法を検討する必要がある。

最後に、私たちの方法は期待が持てるものの、リアルタイム処理による遅延が発生する。翻訳品質と処理速度のバランスを取るために、アプローチを改善することを目指している。

#結論

異なるモデルの強みを革新的なオンライン再ランキングアプローチで統合することで、翻訳品質を向上させ、性別のあいまいさや視覚コンテキストのような課題に効果的に対処できる。私たちの方法は相当な期待が持て、自然言語処理の分野におけるさらなる研究や応用の扉を開くものだ。