ChatGPTの簡単な言語翻訳の効果を評価する

この記事は、ChatGPTがドイツで公式文書をイージーランゲージに翻訳するのにどれくらい効果的かを探ってるよ。イージーランゲージは、読みづらい人たちを助けるために作られたシンプルなドイツ語の形。目的は、ChatGPTが政府のウェブサイトの複雑なテキストを、もっと理解しやすいスタイルに翻訳できるかどうかを確かめることなんだ。

#イージーランゲージの必要性

ドイツでは、公共機関が障害を持つ人向けにイージーランゲージで情報を提供することが法律で求められてる。つまり、誰かが情報を求めたとき、政府はシンプルで分かりやすい説明をしなきゃいけない。でも、実際には多くの機関がイージーランゲージのコンテンツを十分に提供してなくて、必要な情報にアクセスするのが難しい人もいるんだ。

大きな問題は、イージーランゲージへの翻訳は時間と手間がかかること。特定の基準があるから、専門的なトレーニングを受けた人が必要なんだ。需要は増えてるのに、資格を持った翻訳者が足りてないというジレンマがある。

多くの翻訳が、適切な翻訳のトレーニングを受けていない人によって行われている。公共機関の職員やソーシャルワーカーなんかが含まれることもある。そのせいで、イージーランゲージの質がばらついたり、時には悪くなったりすることがあって、実際にそれを必要とする人たちには役に立たない。うまく書かれていないイージーランゲージは、読者を混乱させたり、このコミュニケーションの信頼性を損なったりするんだ。

#テクノロジーの役割

イージーランゲージへの需要が増えているから、テクノロジーの助けが必要だよ。イージーランゲージには特定の言葉や文、全体の構造に従ったルールがあるから、自動化されたプロセスに向いてるかもしれない。でも、ほとんどの翻訳はまだ手作業で行われていて、増え続ける需要に追いつくには不十分なんだ。

ChatGPTは、大量のインターネットデータでトレーニングされた言語モデルだから、テキストを簡略化する能力があるかもしれない。複雑な元のテキストを受け取って、もっと読みやすいバージョンを作り出すことができるんだ。でも、今までこの特定の翻訳のタイプでChatGPTがどれくらいうまくできるかはあまり研究されていないよ。

#関連研究

2014年以降、イージーランゲージに関する研究が増えてきた。多くの研究がテキストの質やコミュニケーションの障壁を調べてる。一部の研究は、理解しやすさや異なるオーディエンスがテキストをどう理解するかに焦点を当てているんだ。自動的なテキスト簡略化技術に関しては進展があったけど、これらの方法はイージーランゲージを必要とする人たちの特定のニーズを考慮していないことが多いんだ。

他の研究では、コンピュータ支援翻訳（CAT）ツールをイージーランゲージに効果的にする方法を探ってる。ただ、正確な説明や明確なコンセプトの説明がまだ課題として残っている。イージーランゲージ翻訳専用のツールで、すべての要件を満たすものはまだ存在しないんだ。

最近の努力では、ニューラルモデルが基本的な単語を使ったり、文を簡略化する方法に適応できるかどうかが調査された。でも、これらの試みは必ずしも元の意味や質を維持できていないことが多かった。多くの場合、出力は依然として複雑で理解しにくいままだったんだ。

#研究デザイン

ChatGPTをイージーランゲージへの翻訳にテストするために、ドイツの公共機関から選ばれた20の異なるテキストが使われた。それぞれのテキストは、遺失物の報告、育児休暇の取得、または犯罪記録の確認など、さまざまなトピックを扱ってた。これらのテキストの長さは異なっていたよ。

研究では、この翻訳タスクに対して2つのアプローチをテストした。最初のアプローチは全体的で、一度にテキストを翻訳する方法。イージーランゲージには特定のルールがあるから、2つ目のアプローチは翻訳を小さなステップに分けて、テキストの構造、文の構成、単語の選び方など異なるレベルをターゲットにしたんだ。

全体的なアプローチでは、ChatGPTにテキスト全体をイージーランゲージに翻訳させた。でも、翻訳がイージーランゲージのルールに従っておらず、まだ複雑すぎることが明らかになった。それで、さらにテキストを簡単にするために2回目のリクエストが行われた。

2つ目のアプローチでは、一歩一歩調整を行った。最初のステップでは、ChatGPTに不要な情報を除外してテキストを書き直すように頼んだ。次のステップでは、複合構造を排除して文を再構成し、文法を簡略化した。最後に、難しい単語をテキスト内で説明したんだ。

分析は、両方のアプローチからの最終出力に焦点を当てて、どれだけイージーランゲージの基準に合っているかを評価したよ。

#結果

翻訳の正確さは、2人が独立して内容を評価することで検証された。目的は、翻訳の不正確さを特定することだった。生成されたテキストの37.5%が正しいと判明した。全体的なアプローチでは、80%が不正確だったのに対し、ステップバイステップの方法では45%の不正確率だったよ。

「不正確」というラベルがついても、すべての情報が間違っているわけではないことが指摘された。多くの不正確と言われたテキストでは、大部分の情報は正確だったけど、いくつかの重要な詳細が欠けていて、全体のメッセージが変わってしまったんだ。

翻訳の読みやすさを調べると、全体的なアプローチは読みやすいスコアが高く、いくつかの翻訳はイージーランゲージに対して受け入れられるレベルに達していた。でも、よりステップバイステップな方法では、テキストがイージーランゲージの読みやすさ基準をまったく満たさなかった。

さらに、両方の簡略化されたバージョンは、元のテキストに比べて複雑な文構造が多く見られた。分析では、翻訳されたテキストで特定の種類の節がより一般的で、それが理解を難しくした可能性があることが指摘されたんだ。

#まとめと議論

この研究は、ChatGPTが行政テキストをイージーランゲージに翻訳するのにどれくらい役立つか評価することを目的とした。結果は、生成されたテキストは元のものより読みやすかったけど、イージーランゲージのガイドラインには完全には従っていなかったことを示した。つまり、簡略化は行われたけど、全ての人にアクセス可能にするには不十分だったんだ。

さらに、内容の正確さも重要な懸念事項だった。ほとんどの翻訳には少なくとも1つの不正確な情報が含まれていて、読者を誤解させる可能性があった。多くの場合、不正確とされたテキストでも、ほとんどの正確な内容は保持されていたけど、重要な詳細が欠けていたんだ。

全体的な結論は、ChatGPTはプロの翻訳者にとっての役立つ出発点になり得るけど、イージーランゲージの翻訳ツールとして単独で頼るべきではないってこと。人間の翻訳者が、翻訳が必要なルールに従って、的確にターゲットオーディエンスに意図されたメッセージを伝えるために重要なんだ。

ChatGPTを使ってイージーランゲージの作業をする翻訳者は、エラーを特定して必要な調整を行うポストエディティングのスキルを持っている必要があるよ。イージーランゲージ翻訳の自動化の可能性はあるけど、その作業は単にルールを適用する以上のものが必要なんだ。元の素材とターゲットオーディエンスの両方を深く理解することが求められる。

ChatGPTからの結果を改善するために、翻訳者は翻訳を依頼する前にコンテキストや特定の役割を提供すべきだね。そうすることで、イージーランゲージの基準により明確で適した出力を得られるかもしれない。

今後の研究では、評価方法の拡張や翻訳が特定の情報を欠いている可能性のある分野を探索することに焦点を当てるよ。チャットGPTのようなテクノロジーを内部翻訳作業に活用するための手法を洗練させ続け、すべての読者のニーズが満たされるようにする必要があるんだ。