フィリピン語の可読性評価の改善

近年、自動可読性評価（ARA）の研究は、主に深層学習を用いた高度な手法に焦点を当ててきた。その目的は精度を向上させることだが、このアプローチはリソースが少ない言語にはあまり向いていないことが多い。このような場合、言語を深く分析するためのツールが不足しているため、シンプルな特徴に依存した従来の手法がまだよく使われている。

この研究では、相互理解度や言語間の関連性などの言語特徴が、リソースが少ない言語の可読性評価をどう向上させるかを見ている。フィリピンの三つの言語、タガログ語、ビコル語、セブアノ語の短編小説を集めて、可読性を評価するモデルを作り、さまざまな言語の組み合わせで異なるデータや特徴がどのように相互作用するかを調べた。

私たちの発見は、新しく開発したCrossNGOという特徴を含めることで、密接に関連する言語からの重複する文字シーケンスを利用し、可読性モデルのパフォーマンスが大きく向上することを示している。言語モデルだけを使用するよりも、これらの言語特徴を組み合わせることで、タガログ語とセブアノ語の最良の結果を達成し、ビコル語のベースラインを設定した。

#自動可読性評価とは？

自動可読性評価は、コンピュータツールを用いて文章がどれほど難しいかを判断するプロセスだ。この必要性は、異なる人がテキストの難易度をラベリングする際に不一致が多いため生じる。特に、アノテーターの専門性のレベルが異なる場合が多い。また、テキストから複雑な特徴を手動で抽出するのは難しいこともある。可読性ツールは、年齢層や学年、または「ヨーロッパ言語共通参照フレームワーク」のような確立されたフレームワークに基づいて複雑さを定義できる。

これまでの間、深層学習技術や大規模言語モデルは学術研究で人気を集めてきた。多くの研究は、英語やドイツ語のように可読性データが豊富にある言語でパフォーマンスを向上させようと目指している。しかし、セブアノ語やベンガル語のようなリソースが少ない言語の研究は、まだ単純な特徴（例えば、単語や文の長さ）を主に利用している。

複雑なニューラルベースの手法に依存することには二つの主要な問題がある。まず、その成功はしばしばカスタマイズされた深層学習モデルをトレーニングするのに十分なデータがあるかどうかに依存する。次に、大規模言語モデルの場合、その言語に対する事前トレーニング済みモデルの可用性による。

研究者たちは、多言語BERTモデルからのデータを単純に使用することが、従来の言語に特化した特徴を使用するよりも、セブアノ語に対して良い結果をもたらさないことを示している。これらの課題は、大量のデータや複雑な事前トレーニングモデルを必要としない手法の更なる検証を促進し、シンプルで解釈可能なモデルの使用を推進している。

この研究は、一歩引いてリソースの少ないフィリピンの言語に利用可能なデータと、それらから得られる特徴に焦点を当て、使用されるアルゴリズムだけに注目するのではなく、関連する言語ファミリー内での少量の可読性データが利用可能な状況を見ている。私たちの知る限り、言語の近さを考慮することは、以前の横断的可読性評価では研究されていなかった。

#研究の主な貢献

私たちは、タガログ語、ビコル語、セブアノ語という三つの密接に関連したフィリピンの言語における横断的文脈での可読性評価に関する広範な研究を行った。

• 言語理解に基づくものからニューラル埋め込みにまで、多様な特徴を抽出し、異なる言語の組み合わせで可読性モデルのパフォーマンスにどのように影響するかを評価した。
• 密接に関連する言語での可読性評価に適用される新しい特徴CrossNGOを導入した。
• フィリピンの主要言語の一つであるビコル語の新しい可読性データセットをリリースした。
• タガログ語とセブアノ語の最良の結果を達成し、ビコル語の可読性評価のベースラインを設定した。

#フィリピンの言語的風景

フィリピンは、何百万もの人々によって話される百を超える言語が存在する言語的多様性で知られている。これらの言語は形態的に豊かで、柔軟な語順や多数の屈折形、重複語、複合語が可能だ。言語学的研究はこれらの言語を北部と中央のサブグループに分類している。北部グループの主要言語にはイロカノ語、パンガシナン語、カパンパンガン語が含まれ、タガログ語、ビコル語、ヒリガイノン語、セブアノ語は中央グループに属している。

私たちの可読性評価は、タガログ語、セブアノ語、ビコル語に焦点を当てており、論文ではそれぞれのISOコードtgl、ceb、bclを用いて言及する。

#相互理解度の探求

研究によれば、タガログ語、ビコル語、セブアノ語は、北部グループの他の言語よりもお互いに密接に関連している。この近さは相互理解度として知られる。このような類似点は、さまざまな側面で観察される。

• 音節パターンでは、三つの言語すべてが類似のケースマークの粒子を共有している。
• 語彙の共有では、mata（目）やtubig（水）などの言葉が三つの言語に登場する。

これらの類似点を分析することで、これらのフィリピンの言語が実際に密接に関連していることを示すことを目指している。そのために、文字n-グラムの重複と系統的距離の二つの方法で言語の類似性を測定する。

#文字N-グラム重複の測定

初期の測定では、選択した言語の各ペアについて文字のビグラムとトリグラムの重複を調べる。各言語の上位のビグラムとトリグラムをランク付けし、重複を計算する。その結果、タガログ語、ビコル語、セブアノ語は相互に高い文字の重複を持ち、英語との重複は低いことが示された。

#系統的距離の利用

二次的な測定として、各言語のペアについて系統的距離スコアを計算する。この自動測定は、単語の翻訳リストに基づいて二つの言語間の距離を定量化する。スコアがゼロに近いほど、言語はより関連している。私たちの発見は、フィリピンの言語間の距離は小さいが、英語はこれらの言語から高い距離を持っていることを示している。

#フィリピンの言語の可読性コーパス

私たちは、タガログ語、セブアノ語、ビコル語のオープンソースの可読性データセットを、さまざまなオンライン図書館やリポジトリから収集した。私たちの研究の各インスタンスは、架空の短編小説で構成されている。

タガログ語では、アダルナハウスと教育省からの物語を使用した。セブアノ語のデータセットは、Let’s Read AsiaやBloom Libraryのようなソースから得た。ビコル語については、既存の可読性データセットがなかったため、同様のソースから物語を集めた。

収集した全データは、初等学年の学習者向けの標準的なレベル付けスキームに従っており、すべてのインスタンスは専門家によって適切な学年が示されている。

#実験設定

#機械学習アプローチ

私たちの研究は、主に伝統的およびニューラル特徴の分析に焦点を当てた横断的文脈でのものだ。基本的なランダムフォレストモデルを使用し、これはタガログ語とセブアノ語のARAタスクで良好なパフォーマンスを示している。限られたデータセットを考慮して、各クラスの適切なサンプルを確保するために、層別k倍交差検証アプローチを使用した。

私たちは、すべての実験での主要な評価指標として精度を報告し、以前の研究との比較を容易にした。モデリングと評価はWEKAを用いて行い、ランダムフォレストアルゴリズムのデフォルトハイパーパラメータを使用した。

#言語的特徴

私たちは、以下によって影響を受けたさまざまな特徴を抽出し統合した。

• 以前の研究からの伝統的手作り予測因子。
• 多言語トランスフォーマーモデル（mBERT）からの表現。
• 密接に関連する言語の可読性を評価するために特化した新しいCrossNGO特徴。

伝統的手作り特徴には、以下が含まれる。

• 単語、句、文のカウント。
• 平均単語および文の長さ。
• 多音節単語の数。
• 音節パターンの密度。

また、mBERTを使用して文脈的表現を抽出し、十二層からの平均プールされた表現を活用した。

#横断的文字N-グラム重複（CrossNGO）の導入

私たちは、相互理解度の高い言語内での文字重複を定量化するために、特定の頻繁なn-グラムのリストを利用するCrossNGO特徴を開発した。この特徴により、可読性評価モデルを改善できる。

#結果と議論

私たちの実験は、各言語に対してさまざまな特徴の組み合わせを使用してランダムフォレストモデルをトレーニングした際の精度スコアをもたらした。三つの設定を探求した：単独の横断的、ペアワイズ横断的、完全な横断的。

単独の横断的実験では、伝統的な特徴とCrossNGOを組み合わせたことで、ビコル語とセブアノ語では高い精度が得られ、タガログ語でも競争力のあるスコアが得られた。伝統的な特徴にCrossNGOを補完することで、mBERTの埋め込みよりも優れた結果を得られる傾向が見られた。

ペアワイズ横断的実験では、トレーニングデータに密接に関連する言語を追加すると、モデルのパフォーマンスが大幅に向上した。混同行列は、追加のデータを取り入れることで学年レベルでの誤分類が減少したことを示した。

専門の横断的特徴と多言語ニューラル埋め込みを組み合わせることで、タガログ語とセブアノ語の最先端の結果を達成した。結果は、関連する言語を使用するとARAの結果が向上することを示している。

#研究の限界

この研究は貴重な洞察を提供するが、いくつかの限界を認識することも重要だ。

• 私たちは分析のために架空の短編小説を特に使用しており、これはゴールドスタンダードラベルへのアクセスが容易だからだ。他の文学資料にモデルが一般化することは保証できない。
• 研究はカウントベースの予測因子に焦点を当てており、高度なNLPツールを必要とする可能性のある他の種類の特徴は探求していない。
• ランダムフォレストアルゴリズムの選択は、その効果に関する以前の証拠に基づいている。今後の研究では、他のアルゴリズムとの比較を探求することができる。

#倫理的考慮

この研究から倫理的問題が生じることはないと予想している。私たちは、この研究で使用したオープンソースデータセットの作成に関わったグループや組織に感謝を表明する。

結論として、この研究は密接に関連した言語における自動可読性評価に対する言語的特徴の分析の重要性を強調している。従来の特徴と新しいCrossNGO特徴を同時に使用することで、モデルのパフォーマンスが大幅に向上し、NLPタスクにおける言語理論のさらなる探求を促進することを示している。