新しいデータセットが原稿分析を強化したよ

文化遺産に対する興味がテックコミュニティ内で高まってきて、コンピュータ科学者と人文学者の間でのコラボレーションが増えてるんだ。このチームワークは両方にいい影響を与えてる。学者は歴史的な文書をもっと簡単に分析できるし、コンピュータ科学者はこの貴重なデータとどうやって向き合うか学べる。一つの重要な仕事は、古代の写本を研究する学者が、その構造を認識すること。具体的にはページ上での内容の整理方法を理解することが含まれる。これが、写本をよりよく理解し、異なるテキスト間の関連性を見つけるのに役立つ。

テック分野では、この作業はページセグメンテーションとして知られてる。それは文書レイアウト分析と呼ばれる広い範囲の一部で、テキスト行の分解やテキストの基準線を検出することも含まれる。これらの課題に効果的に取り組むには、写本についての大量のデータが必要なんだ。具体的には、正確な「グラウンドトゥルース」（GT）データが重要。GTは、ページが異なるセクションにどのように分割されるべきかを示す正しい注釈を指す。

正確なGTがあれば、コンピュータモデルのトレーニングや性能評価ができる。信頼性のある性能測定ができると、異なるアプローチを比較することもできる。GTマップは正確でなきゃいけないけど、これが難しいんだ。GTを作成する際の2つの主な課題は、時間がかかることと、特定の知識が必要なこと。古代の写本は見た目がかなり異なることも多い。老朽化、レイアウトの違い、インク汚れ、スキャンの問題などが、信頼できる注釈作成を難しくしてる。だから、セグメンテーションに使われる自動化はノイズを生むかもしれなくて、悪い結果につながることもある。

ページセグメンテーションのタスク用のデータセットはたくさんあるけど、しばしば不十分。詳細が欠けていたり、テキストと背景を区別するだけだったり、レイアウトクラスが少なかったりするんだ。それに、こうしたデータセットの多くはラテン文字やアラビア文字のような特定の書き方に焦点を当てていて、その使い道も限られてる。

これらの問題を解決するために、新しいデータセット「U-DIADS-Bib」が作られた。このデータセットは、文書の詳細で正確、かつノイズのないセグメンテーションを提供するもの。コンピュータビジョンと人文学の専門家の協力で開発されたんだ。学者たちは写本のどの側面が研究に必要かを定義する手助けをし、コンピュータビジョンの専門家たちはGTが一貫して高品質であることを確保した。このコラボレーションの結果、背景、本文、注釈、装飾、タイトル、章の見出しの6つの明確なクラスができた。

選ばれた写本には、ラテン文字とシリア文字が含まれてる。このバラエティは、それぞれの書き方の違いによって挑戦を提供する。一つの重要な課題は、このプロジェクトの最初に、GTを作成するために手動で画像をセグメント化するのが時間がかかることだった。

学者の負担を減らすために、新しいセグメンテーションパイプラインが開発された。このパイプラインは、手動作業と機械学習モデルの出力を混ぜて、全データセットの粗いセグメンテーションを作り出す。人間の専門家がその出力を洗練させて最終的なGTマップを作る。この方法は、一から始めるよりもずっと早い。

さらに、少ない例で研究を進めるために、少数ショットバージョンのデータセット（U-DIADS-BibFS）も作られた。このバージョンは、限られたトレーニングデータで効果的に機能するモデルの開発を可能にする。これは現実世界ではよくある必要性なんだ。

#U-DIADS-Bibデータセットの理解

U-DIADS-Bibは、4つの異なる写本から取られた200枚の画像で構成されていて、各写本から50枚ずつ選ばれてる。専門家たちは、レイアウトの複雑さや独自の要素に基づいてこれらの写本を選んだ。写本は主に6世紀から12世紀のラテン語とシリア語の聖書が含まれてる。

各写本の画像は、人文学者とコンピュータ科学者が合意したさまざまなセグメンテーションクラスを代表するように選ばれた。画像はデジタルライブラリから調達され、さまざまな歴史的レイアウトを提供している。

選ばれた写本の簡単な概要は以下の通り：

1. ラテン語2 は、シャルル・ル・バルの第二の聖書として知られている。A.D. 871年から877年の間に作成され、444枚の羊皮紙ページを2列に配置している。

2. ラテン語14396 は、A.D. 1145年から1150年にパリのサン＝ヴィクトル修道院で制作された。エズラからヨハネの黙示録までの聖書のテキストを含む170枚の羊皮紙ページで、2列のレイアウトになっている。

3. ラテン語16746 は、A.D. 1170年から1190年の間にサン＝ベルタン修道院で作られた。この写本は新約聖書を収めていて、2列の形式で176枚の羊皮紙ページからなる。

4. シリア語341 は、ウィクカの修道院から来ている可能性があり、6世紀から7世紀にかけて製作された。シリア語ペシッタ版の旧約聖書を含み、256ページの複雑な3列レイアウトになってる。

データセットは、以下の6つのセグメンテーションクラスを示している：

• 本文： 主要な執筆エリアで、句読点も含まれる。レイアウトは1列または2列に構成されてることがある。

• 装飾： ミニチュア、装飾されたイニシャル、シンプルなグラフィック要素など、さまざまな装飾要素を含むクラス。

• タイトル： 特徴的なインクの色や独特のスタイルで示される始まりと終わりのフレーズを指す。

• 章の見出し： テキスト内で特定の章を見つけやすくするための小さな見出し。

• 注釈： 本文の外にあるさまざまな注釈、たとえば注釈、修正、その他のメモを含むクラス。

• 背景： ページの背景やスキャン画像に見えるアウトラインを表す。

これらのカテゴリは、人文学の専門家との議論に基づいて選ばれ、写本研究に何が重要かの洞察を提供してくれた。この分類は、厳格な解釈を避け、さまざまな学問分野での広範な応用を可能にしている。

#グラウンドトゥルース作成プロセス

U-DIADS-Bibデータセットの作成は、コンピュータ科学者と人文学者の協力によるもの。正確なGTを作成するためには手動の注釈が重要だけど、特に複雑なレイアウト要素に対処する場合は時間がかかる仕事でもある。

高品質な注釈を得ながら時間をうまく管理するために、ユニークなセグメンテーションパイプラインが開発された。このプロセスは、各写本からすべてのセグメンテーションクラスを代表する50枚の画像を選択することから始まる。次に、10枚の画像のサブセットをしきい値処理して、人間の注釈者のための初期のバイナライズされたバージョンを提供する。

バイナライズされた画像が準備できたら、専門家がこれらの画像をピクセルレベルで手動でセグメント化する。この詳細な作業が、機械学習モデルのトレーニングの基礎を築く。トレーニングが終わったモデルは、全データセットで注釈を作成するために実行される。これらの出力が生成されたら、専門家がそれを慎重に洗練し、元の画像に合うように修正する。プロセスは機械のサポートを利用しているけど、最終的な決定は常に人間の専門家によって行われて、バイアスやエラーを防ぐことができる。

データセットには、JPEGフォーマットで保存された高品質な画像と、PNGフォーマットで対応するGT画像が含まれている。注釈は異なるクラスを表すために色分けされていて、明確さを確保している。最終的なデータセットには、各写本のために合計50枚のオリジナル画像と、それぞれのGTデータが含まれている。

#パフォーマンス評価

システムのパフォーマンスを分析するために、データセット上で一連の人気の深層学習モデルがテストされた。選ばれたモデルには、FCN、Lite Reduced Atrous Spatial Pyramid Pooling（LRASPP）、DeepLabV3、DeepLabV3+、Pyramid Scene Parsing Network（PSPNet）が含まれる。

テスト中、さまざまなパフォーマンス指標（精度、リコール、交差比（IoU）、F1スコアなど）の加重平均とマクロ平均が計算された。これらの指標は、モデルが異なる意味的領域をどれだけ正確に識別できるかを測るもの。

モデルは、Adamオプティマイザー、学習率、重みの減衰を含む設定でトレーニングされた。トレーニングは監視され、性能が指定されたエポック数を超えて改善されない場合は早期停止メカニズムが適用された。

このベンチマーキングの結果、モデルは異なる写本間で異なる性能を示した。それぞれの写本は、セグメンテーションクラスに関するユニークな課題を提供した。特にDeepLabV3+モデルは、全体的に最良の性能を示し、グローバルおよびローカル情報をうまく活用できることを示した。

#少数ショット学習アプローチ

メインデータセットに加えて、限られたデータでのトレーニングの重要性を強調するために、少数ショットバージョン（U-DIADS-BibFS）が作られた。この設定は、各写本ごとに43枚の画像で、わずか3枚の画像がトレーニングに使われた。

少数ショット設定の結果も、フルデータセットと同様に加重平均とマクロ平均を用いて分析された。現在の最先端モデルは、さまざまな指標でうまく機能していた。しかし、全データセットと比較すると、パフォーマンスは一般的に低下し、いくつかの写本クラスで精度が著しく下がった。

少数ショット設定は、最小限のデータで作業する際の課題を浮き彫りにしている。ただ、これにより、制約の下でもうまく機能できる効果的な手法の開発可能性も示している。

#結論と今後の方向性

U-DIADS-Bibは、文書レイアウト分析の分野において重要な進展を示しており、既存のデータセットに見られる以前の欠点に対処している。詳細で正確なアプローチを提供し、実用的なシステムの開発を可能にしている。

手動注釈と自動化プロセスの組み合わせによって、人間の専門家の負担が軽減され、高品質なデータを効率的に大量に生成できるようになった。それでも進展があるものの、特定のレイアウトクラスを特定する際にはまだ課題が残っており、特にデータが少ない設定ではそうだ。

今後の作業では、さまざまな文書タイプや特性を含むようにデータセットを拡張して、さらなる研究と革新を促進することに焦点を当てる予定。目的は、注釈の分類を洗練させ、新しいセグメンテーションクラスを導入して、文書レイアウト分析のためのより完全なリソースを作成すること。

さらに、セグメンテーションパフォーマンスを向上させ、必要なトレーニングサンプルサイズを減らすための技術を探求することにも重点を置く予定。特定の特徴に焦点を当てたモジュールの調査やモデル構造の最適化を含む。目標は、さまざまな歴史的および現代の写本にうまく適応できる手法の開発を促進すること。