ニューラル機械翻訳における方言の課題への対処

ニューラル機械翻訳（NMT）システムは、言語の変化に直面すると苦戦する。これらのシステムは、非母国語話者による微妙な言語の使い方の違いや、言語ドメインの変化に遭遇するとき、パフォーマンスが悪くなる。この問題は方言にも広がるが、これらのシステムが方言の違いをどれだけうまく翻訳できるかをテストする仕事はほとんど行われていない。これに対処するために、12の言語から891のバリエーションを含む新しいベンチマークを作成し、NMTシステムをこれらの方言に対してより良くテストできるようにした。また、方言を翻訳する際に大規模なNMTモデルが直面する困難も示している。集めたデータとコードはすべて公開されている。

2010年代を通じて、自然言語処理（NLP）や関連技術の急速な進展があった。しかし、これらの進歩のほとんどは、広く使われている数ヶ国語に焦点を当てており、さまざまな地域や社会グループ内で存在する多くのバリエーションを見落としている。これらの違いを理解することは、現在のシステムがより多様な入力をどれだけ扱えるかを評価するために重要だ。

言語は多くの点で異なることがある。この研究では、主に書き言葉と文法のバリエーションに焦点を当てており、機械翻訳のようなタスクを通じて評価できる。発音の違いについては探求しないが、将来の研究にとって重要であることを認識している。

NMTシステムが直面する翻訳の課題の一つは、イタリア語に関するものである。一般的な翻訳システムは標準イタリア語を正確に翻訳できるが、アラッシオ方言を翻訳するのには失敗する。こうした例は、翻訳パフォーマンスのギャップを浮き彫りにしている。

これらの翻訳の課題を適切に測定するには、同じ意味を持つ2つの方言の文を対比させる必要がある。我々の仕事はこの空白を埋めることを目指している。

#貢献

我々の研究は、いくつかの重要な領域に貢献している：

1. イタリア語（439種類）、バスク語（39種類）、スイスドイツ語（368種類）の3言語の方言に関する以前の研究から対比データを集めた。
2. アラビア語（25方言）、オシタン語（2種類）、ティグリニャ語（2種類）、ペルシャ語（2種類）、マレーインドネシア語（2種類）、スワヒリ語（2種類）、ギリシャ語（1種類）については、さまざまなソースから対比データを再利用した。
3. ベンガル語（5方言）と中央クルド語（4方言）について新しい対比データを生成した。
4. これらの方言を先進的な機械翻訳モデルを用いてベンチマークし、パフォーマンスの違いを強調した。

#関連研究

機械翻訳はNLPのコアエリアであり、多くの過去の研究がさまざまなモデルタイプの最近の進展を通じて効率向上を目指している。しかし、さまざまな方言やバリエーションを翻訳できる効果的なモデルの開発には大きなギャップが残っている。

この問題に関する多くの研究は、アラビア語、スイスドイツ語、クルド語、ポルトガル語、フランス語の方言に焦点を当ててきた。主要な課題は、十分な翻訳データを集めて適切なデータセットを作成することである。過去の少数派方言の翻訳を探る努力は注目を集めたが、多くの分野はまだ発展の余地がある。

方言間の翻訳を評価するためのベンチマークが不足しているため、我々の研究はこれを提供するものであり、機械翻訳モデルの方言の違いに対するパフォーマンスを測ることを目指している。

#ベンチマーク

我々のベンチマークでは、標準言語のバリアントの文と方言のバリアントの文を比較して、対比的なものと呼ぶ。この対比的な方法は、方言研究で広く使われており、類似点よりも違いを強調する。

この研究分野は比較的新しいため、データセット構築には3つの主要な戦略を使用した：

• バスク語、イタリア語、スイスドイツ語、中央オシタン語の方言研究から既存のデータを再利用した。
• ベンガル語、現代ギリシャ語、中央クルド語については、ネイティブスピーカーによる手動翻訳を行った。
• アラビア語、ペルシャ語、マレーインドネシア語、ティグリニャ語、スワヒリ語の既存データを集めた。

#既存データセットの活用

いくつかの研究がすでに一部の言語バリエーションに対して対比的な例を提供している。これらの一部は以前の方言研究のために作成されたもので、他は異なる翻訳イニシアチブからのもの。

#構文地図のスクレイピング

研究者たちは通常、各方言で文がどのように表現されるかを捉えるために設計された質問票を通じて方言データを収集してきた。この方法により、豊かなデータ収集と比較分析が可能になる。ほとんどの言語は限られた注目しか受けていないが、特にヨーロッパ言語にはいくつかの顕著な努力がなされている。

#新しいデータ作成

中央クルド語、ベンガル語、オシタン語を含むさまざまな言語では、既存の対比データを見つけることができなかったため、オンラインデータスクレイピングとアウトリーチを通じて小規模な評価ベンチマークを作成した。

#含まれる言語

我々のベンチマークに含まれる言語は次のとおり：

• バスク語バリエーション：バスク構文データベースから収集されたデータ、39のバリエーションをカバー。
• イタリア語バリエーション：イタリア構文アトラスから取得し、イタリア各地の439の方言を表す。
• スイスドイツ語バリエーション：スイスドイツ語の構文アトラスからスクレイピングされたデータ、368のバリエーションを特徴。
• アラビア語俗語：MADARコーパスのデータを使用し、25の都市からのバリエーション。
• ティグリニャ語：TICO-19データセットから収集したデータ、エリトリアとエチオピアのバリエーションを比較。
• ペルシャ語とダリ語：翻訳のためにTICO-19データセットを使用。
• マレーとインドネシア語：TICO-19データセットから取得し、2つの密接に関連する言語を比較。
• スワヒリ語：TICO-19データセットからの沿岸およびコンゴのバリエーション。
• ベンガル語バリエーション：バングラデシュの異なる地域からの5つの方言を含むデータ。
• 中央クルド語バリエーション：イランとイラクの地域の方言に焦点を当てている。

#参照なしでの評価

方言間の機械翻訳システムを評価するために、標準翻訳と出力を比較することができる。人間が作成した参照翻訳がなくても、これらのシステムの頑健性を分析することは可能だ。

#重要な実装ノート

我々の分析では、パフォーマンスを2つの指標で測定した：BLEUとCOMET。BLEUはn-gramの一致に基づいて翻訳を評価し、COMETは多言語モデルを使用してより詳細な理解を提供する。これらの方法は、システムが標準翻訳と比較して方言をどれだけうまく扱えているかを見るための定量的な手段を提供する。

#結果と分析

我々は、さまざまな言語の方言を評価する機械翻訳システムをベンチマークし、特に英語をターゲット言語として注目した。我々の結果は、200言語間で翻訳可能な4つの異なるサイズのモデルに基づいている。

#定量分析

定量的な結果は、言語バリエーション間で異なるパフォーマンスを示した。ティグリニャ語のバリエーションは異なるスコアを示し、方言翻訳の際の課題を浮き彫りにした。ペルシャ語とダリ語を含む他の言語は、同様に良好なパフォーマンスを示し、モデルが十分な訓練データを持てば方言をサポートできることを示唆している。

#定性的分析

機械翻訳システムに影響を与える重要な要因は、方言間の語彙や文法の多様性である。多くの言語の標準化過程は、地域的なバリエーションの無視を引き起こし、非標準方言で翻訳システムがうまく機能するのを難しくしている。

#今後の研究

この研究は、機械翻訳システムにおけるさまざまな言語方言へのサポートの欠如を明らかにしている。一部の方言はうまくいくが、他は苦戦しており、この分野でのさらなる研究の必要性を強調している。方言のためのさらなる訓練データセットの開発が優先事項であり、より良い機械翻訳のパフォーマンスを可能にする必要がある。

#結論

この研究は、方言間の翻訳品質のギャップを強調している。いくつかの方言は印象的なスコアを示しているが、多くは過小評価されている。これらの格差に対処することは、言語翻訳への平等なアクセスを確保するために重要であり、方言のバリエーションに対応したより良いモデルの開発の重要性を強調している。