LMDX: 文書情報抽出の新しいアプローチ

大規模言語モデル（LLM）は自然言語タスクの処理方法を変えたよ。多くのタスクが簡単になったし、新しい能力も見せてくれた。でも、LLMを使って請求書や領収書みたいな半構造的な文書から情報を抜き出すのはまだ成功していないんだ。これは多くのビジネスプロセスにとって重要で、複雑なレイアウトから重要な情報を引き出す必要があるんだよね。

この作業には2つの大きな問題がある。一つ目は、LLMが文書のレイアウトを理解しないから、うまく抽出できないこと。二つ目は、モデルが正確な回答を出すことを保証するのが難しいってこと。これらの問題を解決するために、言語モデルに基づく文書情報抽出と位置特定（LMDX）という新しいアプローチを紹介するよ。

#LMDXって何？

LMDXは、LLMが文書から効果的に情報を抜き出すのを助けるように設計されているんだ。単一の情報や繰り返しの情報、階層的な情報を見つけることができて、ほとんどトレーニングデータがなくてもできるんだ。それに、LMDXは元の文書の中でこれらの情報を見つけることができるから、抽出の正確性を確保できるんだ。

いろんなベンチマークでLMDXをテストした結果、特に少ないデータでのパフォーマンスが新記録を打ち立てたよ。

#文書情報抽出の課題

請求書や税務書類、領収書のような文書は通常、特定のレイアウトで整理されているから、標準モデルが正確に情報を抽出するのが難しいんだ。こういったタスクが難しい理由は以下の通り：

1. 複雑なレイアウト： 情報がいろんなテンプレートにわかれて広がっているから、文書のコンテキストや異なる部分の関連を理解する必要がある。

2. 異なるフォーマット： 内容は印刷されていたり手書きだったり、スキャンの問題（ぼやけたテキストやずれなど）があるかもしれない。

3. 正確性の必要性： 多くのビジネスプロセスでは、正しい抽出が重要だから、修正には人の手が必要になることもある。つまり、モデルは文書のどの部分に抽出データがあるのかを正確に知っている必要がある。

4. 多様な文書タイプ： 文書の種類がたくさんあってアノテーションのリソースが限られているから、モデルは通常、少量のデータでしか訓練されない。

これらの課題を考えると、効果的な文書情報抽出システムは次のことが求められるよ：

• 単一の情報や複数の情報を正確に抽出できること。
• 文書内でこれらの情報の位置を特定できること。
• 少量のデータでトレーニングされても良いパフォーマンスを発揮すること。

現在、これらの要件を満たす公開システムは存在しないんだ。

#現在の文書情報抽出アプローチ

ほとんどの現在の方法は、抽出作業を2つの部分に分けることが多い。最初の部分は、光学式文字認識（OCR）を使って文書の画像から機械可読なテキストに変換すること。次の部分は、モデルが認識されたテキスト内の重要な情報を探し出そうとするパース作業。

いくつかのアプローチは、テキストとレイアウト情報を結び付けようとするけど、文書の複雑な側面で苦労することがある。いくつかの技術を使っていて：

• 相対位置付け： いくつかのモデルは、テキストブロック間の距離を使ってレイアウトを理解しようとする。

• グラフニューラルネットワーク： 他のモデルは、テキストトークンの位置を表現するためにグラフを使って、エンティティを見つけるのに役立てる。

• 画像機能： テキストとレイアウトからの情報を組み合わせてパフォーマンスを向上させるために、画像を使おうとする試みがある。

それでも、まだ大きな制約があって、多くのモデルは特定のデータセットでの訓練がないと、データセットの構造やエンティティタイプを理解できない。つまり、新しいフォーマットや文書タイプに簡単に適応できないってことだ。

#LLMを使う利点

LLMは、最小限の指示や例で言語タスクを理解する大きな可能性を示しているよ。これにより、ほとんどトレーニングデータがなくても情報を抽出できる可能性が開ける。でも、これらの能力は通常、プレーンテキストにしか適用されなくて、文書抽出で使うと不正確さのリスクが伴う。

いくつかのモデルは、抽出タスクをLLMに適したシーケンス生成タスクに変換しているけど、レイアウトや特定のスキーマ構造にはうまく機能しない。この点でLMDXが登場するんだ。

#LMDXの方法論

LMDXはいくつかの重要な部分から構成されている。こんな感じで進むよ：

#1. 光学式文字認識（OCR）

最初のステップは、標準のOCRサービスを使用して文書画像から単語を取得すること。このとき、各単語の位置もバウンディングボックスの形で取得するよ。

#2. 文書のチャンク化

文書が長くてLLMが処理できる入力量に制限があるから、文書を小さなセクションやチャンクに分けるんだ。まず文書をページに分けてから、各チャンクがLLMの入力制限内に収まるように行をトリミングする。

#3. プロンプト生成

各チャンクをLLM用の特定のプロンプトに変換する。このプロンプトは次の内容で構成されている：

• 文書のテキストコンテンツをセグメントに分けたもの。
• タスクの説明。
• 抽出するエンティティを含むターゲットスキーマの表現。

このセットアップでは、テキストセグメントの座標用に特別なトークンを使って、LLMが空間的関係を理解できるようにしているんだ。

#4. LLM推論

このパートでは、生成したプロンプトをLLMに通すよ。各プロンプトごとに、サンプリング法を使っていくつかの応答を生成する。このランダム性が、予測の潜在的なエラーをキャッチするのに役立つ。

#5. 結果のデコード

最後に、LLMの応答を構造化された出力に変換して、抽出されたエンティティとその位置を含める。予測が期待したものと合わない場合は、高品質を維持するためにそれを破棄するよ。

#評価と結果

LMDXのパフォーマンスは、公開されているベンチマークで評価して、抽出タスクのパフォーマンスを特に見る。LMDXは、多くの既存のシステムを上回る印象的な結果を示していて、特に少ないトレーニングデータの場合に優れている。

#データ効率

LMDXはデータ使用の面で素晴らしい効率を示している。時には、トレーニングデータなしで同じパフォーマンスを発揮し、競合モデルがかなり多くのトレーニング例を必要とするのと同等の結果を得ている。

#一般化

新しい文書タイプやスキーマへの適応能力もLMDXの強みの一つ。見たことのないテンプレートに直面しても高い正確性を維持できて、多くの他のモデルはパフォーマンスの大幅な低下を見るけど。

#階層的エンティティに対するパフォーマンス

LMDXは階層的エンティティの抽出にも優れていて、他のモデルでは扱いが難しいことが多い。関連する項目を正しくグループ化する点で、ベースラインモデルを大幅に上回る。

#課題と制約

強みがあっても、LMDXにもいくつかの課題がある。一般的な問題の一つは、OCRからのエラーで、異なるエンティティに属するセグメントを誤ってグループ化してしまうこと。これが原因でモデルが誤った予測をすることがあるんだ。

これに対処するために、LMDXにもっと画像ベースの機能を組み込む作業が進んでいる。これで今後のエラーに対処する際に精度と信頼性が向上するかもしれない。

#結論

要するに、LMDXはさまざまな文書から効果的に情報を抽出するためのLLMの新しい強力な使い方を提示している。最小限のトレーニングで複数のエンティティを正確に特定・位置付けできることで、文書処理の未来に強い前例を設定しているよ。

#今後の作業

将来的な開発は、プロセスに画像をより完全に組み込むことに焦点を当てるかもしれない。現代の視覚と言語モデルの能力を活かすことで、全体のパフォーマンスが向上し、OCR関連のエラーの影響が減少するかもしれない。さらに、オープンソースのLLMを探ることで、この技術のさまざまな使用例におけるアクセス性と適応性が広がる可能性がある。

#付録

#トークン長統計

LMDXの方法論のパフォーマンスは、さまざまなデータセットで評価されている。プロンプトと完成形で使用されるトークンの長さは、LLMが設定した制限に収まるように注意深く監視されているんだ。

#サンプルプロンプトと完成形

実際のプロンプトと完成形の例を示して、LMDXが入力文書をどのように処理するかを説明する。この例は、システムの構造と予想される出力を示すのに役立つよ。

#ベースライン比較

さまざまなベースラインモデルの比較が行われて、LMDXの効率性と有効性が示されている。各ベースラインモデルには強みと弱みがあるけど、LMDXは重要なエリアで一貫してそれらを上回っているんだ。

#エラー分析

エラーパターンが分析されて、一般的な問題や改善の余地が特定されている。これらのミスを理解することで、今後のLMDXアプローチの強化や改良に役立つんだよ。

#総合的な影響

LMDXの導入は、文書情報抽出の分野で大きな前進を意味する。構造化され適応可能な方法で現代のLLMを活用することで、自動文書処理に新たな可能性を開くんだ。