英語-トゥル語翻訳データセットをローンチします。

私たちは、インド南西部で約250万人が話す言語であるトゥルー語と英語の間の翻訳のための最初のデータセットを作成したよ。トゥルー語は南ドラビダ語群に属しているんだ。このデータセットは人間の翻訳を使っていて、FLORES-200という既存の翻訳リソースに組み込まれているんだ。

この新しいデータセットを使って、英語からトゥルー語への機械翻訳モデルを評価してる。モデルのトレーニングにあたっては、関連する南ドラビダ語のリソースを活用してる。転移学習の方法を使うことで、リソースが豊富な言語とそうでない言語の類似点を利用できるんだ。この方法は、データが十分でないトゥルー語の翻訳システムを構築する上で重要なんだ。

私たちの英語-トゥルー語翻訳システムは、直接的な平行データがなくても、2023年9月のBLEUスコアでGoogle翻訳よりも19ポイント良い結果を出してるんだ。

#トゥルー語の重要性

トゥルー語はインドや他のどこでも公式な言語じゃないから、公式なビジネスや教育に使われないんだ。トゥルー語を話す地域の人たちは、カンナダ語やマラヤーラム語を使うことが多いよ。でも、トゥルー語の可視性や使用を増やそうとする取り組みが進んでる。ユニコードでトゥルー語のスクリプトを作る提案や公式認定を求める嘆願書も出されているよ。

これらの課題にもかかわらず、トゥルー語はJai Tulunadのようなグループのおかげでソーシャルメディアで目立ってる。このグループはトゥルー文化を促進していて、2021年にはオンラインの英語-トゥルー辞典も作ったし、さまざまなソーシャルメディアプラットフォームでコミュニティと積極的に関わってるんだ。

#低リソース言語の課題

過去10年間、ニューラル機械翻訳（NMT）はシーケンス・ツー・シーケンスモデルや注意メカニズムなどの技術の進歩に伴って成長してきた。しかし、トゥルー語を含む多くの言語は、これらの進歩を活用するために必要な豊富なデータセットが不足してる。この不足が信頼できる翻訳モデルの開発に課題をもたらしているんだ。

世界には7,000以上の言語があって、多くがリソースが不足しているために見過ごされる危険がある。トゥルー語もこのカテゴリーに入っていて、公式に認められず、学校で教えられないことが主な課題なんだ。そのため、カンナダ語やマラヤーラム語が使われることが多い。

でも、トゥルー語には映画や話者同士のソーシャルメディアでの交流など、活気のある文化シーンがあるよ。

#最初のトゥルー語データセット

トゥルー語のために有用なリソースを作るために、私たちは大きな影響を与えることを目指したんだ。低リソース言語で広く認識されているFLORES-200データセットを拡張することにした。このデータセットは、さまざまなソースからの多様な文を含んでいて、データの多様性を保証してるよ。

トゥルー語への文の翻訳には、トゥルー語と文化に焦点を当てたボランティア団体Jai Tulunadと協力した。彼らは翻訳を作成するために、母語のトゥルー語話者を見つけるのを手伝ってくれたんだ。この翻訳はコミュニティにとって重要なんだよ。

ボランティアは全員トゥルー語のネイティブスピーカーで、英語とカンナダ語も流暢に話せる人たちで、両方の言語を参照しながら文を翻訳した。翻訳が正確で、トゥルー語を適切に反映していることを確認するために、専門家とも相談したよ。

#翻訳プロセス

翻訳プロセスはいくつかの課題に直面したよ。昔はトゥルー語に豊かな語彙があったけど、今は多くの言葉が一般的に使われなくなって、新しい学校のカリキュラムではカンナダ語やサンスクリットの単語が好まれるようになってる。翻訳者はしばしばどの単語を使うか決めなきゃならなかったんだ。トゥルー語の標準化された形は存在しないからね。

もう一つの課題は、トゥルー語ではあまり一般的でない受動態の使用だった。翻訳者たちは、これらの文をより一般的な能動態に変更することを選んだよ。また、トゥルー語の方言が違ったことで、一貫性が重要で、すべての翻訳者がマングラール方言を使用することに決めた。

トゥルー語には他のスクリプトにうまく翻訳できない特有の音韻があって、翻訳プロセス中に課題が生じたんだ。固有名詞はしばしば音訳する必要があったし、文化的なニュアンスにも注意が必要だったよ。

#機械翻訳システムの構築

英語-トゥルー語翻訳モデルのトレーニングを始めるために、英語-カンナダ語翻訳のための大きなデータセットを使用した。このデータセットには様々なソースからの何百万もの文が含まれていて、モデルの強固な基盤を構築するのに役立ったんだ。

評価のためには、新しく開発した英語-トゥルー語データセットを使った。このデータセットには、1,300の人間翻訳された文が含まれていて、それを開発セットとテストセットに分けて厳密に評価したんだ。

トゥルー語は独自の既存のデータセットが不足していたので、トゥルーウィキペディアから記事を集めて40,000文の単言語トゥルー語コーパスを作成したよ。

#モデルのトレーニング

私たちのトレーニングプロセスは複数のステップで構成されていたよ。まず、カンナダ語から英語への翻訳を行うために言語モデルを微調整した。その後、単言語トゥルー語データを英語に翻訳し、最後にバックトランスレーションを行ってモデルが英語データをトゥルー語に再翻訳した。

最後のステップでは、以前のステップからデータを再導入して翻訳の質を向上させるためにモデルを反復的に改善した。私たちはさまざまな評価技術を使ってモデルを継続的にテストし、主にBLEUスコアに注目したよ。

この系統的なトレーニングを通じて、翻訳性能の改善が見られた。最初、トゥルー語-英語モデルはBLEUスコアが1.84で、限られた能力を示していた。でも、カンナダ語のリソースを取り入れることで性能を向上させ、最終的にはトゥルー語-英語翻訳のBLEUスコアが25.97に達したんだ。

#結果と観察

最終モデルの性能は、私たちの転移学習アプローチがトゥルー語から英語への翻訳に多少成功していることを示していた。ただし、英語からトゥルー語への逆方向はBLEUスコアが17.27と低かったんだ。

これらのスコアは限られた有用性を示しているけど、私たちの翻訳の一部は効果的だったよ。たとえば、翻訳は非トゥルー語話者が文の一部を理解できるほど明確だったし、モデルは固有名詞の音訳も正確に行えたんだ。

でも、文が長くなるにつれて、翻訳の質は下がる傾向があった。複雑なトゥルー語の単語を正しく翻訳することなく、単に音訳する場合もあったよ。

私たちは、トゥルー語を英語に翻訳する際にはうまくいく方法があるけど、英語をトゥルー語に翻訳する際にはまだ苦労していることがわかった。さらなる改善が進むかもしれない。

#課題と今後の方向性

今後は、トゥルー語の独特な特徴をよりよく理解するための追加の強化を実施する予定だ。機械翻訳に対するアプローチは、パイプラインを改善し、モデルをさらに洗練させるために追加のデータセットを探ることを含むよ。

翻訳プロセス中に課題があったけど、Jai Tulunadとのパートナーシップのおかげで、私たちの取り組みがコミュニティのニーズに合致していることを確保できた。彼らの貴重な貢献とサポートが、トゥルー語翻訳の将来の作業の基盤を築くのに役立ってくれたんだ。

結論として、私たちは英語-トゥルー語翻訳のための重要なデータセットを紹介し、有望な翻訳モデルを開発した。改善の余地があるけど、特に逆翻訳の面で、私たちの作業は低リソース言語の機械翻訳のさらなる進展に向けた基盤を提供しているんだ。