Fortschritte bei semi-supervisierter Tabellenerkennung

Die Tabellenerkennung ist eine wichtige Aufgabe zum Verständnis von Dokumenten. Ihr Ziel ist es, Tabellen in Dokumentenbildern genau zu finden und zu erkennen. Obwohl Deep Learning in diesem Bereich grosse Fortschritte gemacht hat, benötigt es oft eine Menge gelabelter Daten für das Training. Die meisten aktuellen Methoden zur Tabellenerkennung verwenden komplexe Prozesse, die das Training verlangsamen können.

Neuere Ansätze, die auf konvolutionalen neuronalen Netzen (CNNs) basieren, setzen auf die Erzeugung von Ankern und die Anwendung von Non-Maximum Suppression (NMS) während der Erkennung, was ineffizient sein kann. Transformer-basierte Methoden sind ebenfalls aufgetaucht, aber sie erzeugen oft störende Pseudo-Labels, die die Leistung beeinflussen können.

#Einführung

Eine visuelle Zusammenfassung von Dokumenten ist für viele Anwendungen wichtig, einschliesslich Dokumentenzusammenfassungen und der Identifizierung grafischer Elemente in Visualisierungen. Ein wichtiger Teil dieses Prozesses ist die Lokalisierung und Identifizierung grafischer Komponenten, insbesondere von Tabellen. Tabellen spielen eine entscheidende Rolle bei der Organisation wichtiger Informationen, was das Lesen und Verstehen erleichtert.

Text aus komplexen Tabellenlayouts zu extrahieren, ist eine Herausforderung. Manuelle Extraktionen werden angesichts der zunehmenden Anzahl von Dokumenten unpraktisch. Automatisierte Methoden bieten zuverlässige und effiziente Lösungen für diese Aufgaben. Die optische Zeichenerkennung (OCR)-Technologie ist entscheidend, insbesondere für Tabellen, da sie hilft, strukturierte Daten effektiv zu verwalten.

Traditionelle OCR-Systeme haben Schwierigkeiten mit dem strukturierten Format von Tabellen, was zu Fehlern und Informationsverlust führt. Frühere Versuche, diese Probleme zu lösen, basierten auf externen Metadaten innerhalb von Dokumenten, aber diese Lösungen konnten sich nicht an neue Tabellenformate anpassen, wie solche ohne Ränder.

#Herausforderungen bei der Tabellenerkennung

Neueste Fortschritte im Deep Learning haben die Tabellenerkennung erheblich verbessert. Allerdings sind neue Herausforderungen aufgetaucht. Eine bemerkenswerte Herausforderung ist, dass das Training von Deep Learning-Modellen umfangreiche Annotationen benötigt, was ressourcenintensiv sein kann. Während überwachte Methoden sehr gut auf Standardbenchmarks abschneiden, hängt ihre Anwendung in realen Situationen von der Verfügbarkeit annotierter Datensätze ab, die spezifisch für ein bestimmtes Fachgebiet sind.

Das Erstellen oder Verarbeiten gelabelter Daten ist nicht nur zeitaufwendig, sondern kann auch zu ungenauen Ergebnissen führen. Das hat zu einem wachsenden Bedarf an Netzwerken geführt, die gut mit begrenzten gelabelten Daten arbeiten können.

Semi-überwachtes Lernen bietet eine wertvolle Lösung, wenn gelabelte Daten knapp sind. Diese Methoden nutzen sowohl gelabelte als auch ungelabelte Daten, so dass das Modell von beiden lernen kann. Das Ziel ist es, die Leistung und Generalisierung zu verbessern, indem beide Datentypen genutzt werden. Diese Strategie kann die Muster in ungelabelten Daten effektiv nutzen, die Lernkapazität des Modells erhöhen und möglicherweise die Genauigkeit verbessern, ohne auf grosse gelabelte Datensätze angewiesen zu sein.

#Frühere Ansätze

Frühere semi-überwachte Objekterkennungsmethoden basierten stark auf Objekt-Detektoren, die Anker erzeugten und NMS für die Nachbearbeitung verwendeten. Später wurde das DETR-Modell für semi-überwachte Einstellungen angepasst, um seine Gestaltung zu nutzen, um die Notwendigkeit von NMS zu beseitigen und sowohl gelabelte als auch ungelabelte Daten besser zu nutzen. Allerdings bringt der Einsatz von DETR im semi-überwachten Lernen seine eigenen Herausforderungen mit sich. Seine festen Abfragen können die Effizienz in verschiedenen Szenen einschränken, was möglicherweise zu verpassten Erkennungen oder falsch positiven Ergebnissen führt.

Der Eins-zu-eins-Zuweisungsansatz in DETR kann zu Problemen führen, wenn Pseudo-Labels nicht genau sind. Zum Beispiel, wenn ein Pseudo-Label fehlerhaft ist, aber während des Trainings einbezogen wird, kann die Eins-zu-eins-Zuordnung dazu führen, dass eine vorhergesagte Box mit ihm übereinstimmt, was zu Ungenauigkeiten führt.

#Ein neuer Ansatz

Um diese Herausforderungen anzugehen, wurde ein neues semi-überwachtes Framework basierend auf dem Lehrer-Schüler-Modell eingeführt. Diese Methode verwendet ein einzigartiges Zuordnungsmodul, das sowohl Eins-zu-eins- als auch Eins-zu-viele-Zuweisungsstrategien integriert. Die Eins-zu-viele-Strategie reduziert die Abhängigkeit von Ankern, während die Eins-zu-eins-Strategie ein besseres Vorschlagsset für Kandidaten bietet, was die Gesamteffizienz des Detektors erhöht.

In diesem Framework können die Schüler- und Lehrermodule beide Arten von Abfragen verarbeiten. Das Schülermodul verarbeitet stark augmentierte Bilder, während das Lehrermodul schwach augmentierte Bilder betrachtet. Darüber hinaus vervielfältigt die Eins-zu-viele-Zuordnung die augmentierten Bodenwahrheiten für bessere Qualität der Pseudo-Labels.

#Wichtige Beiträge

Diese Studie führt mehrere wichtige Beiträge ein:

1. Ein neuer End-to-End DETR-basierter Ansatz zur Tabellenerkennung, der beide Zuordnungsstrategien während des Trainings verwendet.
2. Eine Abfragesortiermethode in der Eins-zu-viele-Strategie zur Verbesserung der Pseudo-Label-Qualität.
3. Eine umfassende Bewertung unter Verwendung verschiedener Benchmark-Datensätze wie PubLayNet, ICDAR-19 und TableBank, die erstklassige Ergebnisse in Bezug auf die mittlere Durchschnittspräzision (mAP) erzielt.

#Verwandte Arbeiten

Die Erkennung von Tabellen in der Dokumentenbildanalyse ist eine bedeutende Aufgabe. Zahlreiche Methoden haben versucht, Tabellen mit verschiedenen Strukturen zu identifizieren. Zu Beginn basierten viele dieser Methoden auf festen Regeln oder der Eingabe externer Metadaten. In letzter Zeit haben Forscher statistische Methoden und Techniken des Deep Learning angewandt, um Systeme zur Tabellenerkennung zu verbessern.

#Regelbasierte Strategien

Frühere Methoden stellten Tabellen als Textblöcke mit vordefinierten Regeln dar. Einige Ansätze konzentrierten sich darauf, horizontale und vertikale Linien zu identifizieren, während andere HTML-Tabellen in logische Formen umwandelten. Obwohl diese Methoden für bestimmte Formate effektiv waren, zeigten sie den Bedarf an flexibleren Systemen in der Tabellenerkennung auf.

#Lernbasierte Methoden

Überwachtes Lernen hatte das Ziel, Tabellenelemente zuverlässig zu erkennen. Es wandelte Dokumentenbilder in Strukturen basierend auf vertikalen und horizontalen Linien um. Traditionelle Methoden arbeiteten gut mit maschinellem Lernen, hingen jedoch oft von zusätzlichen Informationen ab. Deep Learning-basierte Methoden, insbesondere solche, die sich auf die Objekterkennung konzentrieren, haben eine höhere Genauigkeit gezeigt.

#Semi-Überwachtes Lernen in der Tabellenerkennung

Im semi-überwachten Lernen tragen sowohl gelabelte als auch ungelabelte Daten zum Training bei. Pseudo-Labels für ungelabelte Daten werden erstellt, indem Vorhersagen aus verschiedenen Datenaugmentierungen kombiniert werden. Unser Ansatz bietet ein einheitliches Framework, das effektiv mit begrenzten gelabelten Beispielen trainiert.

Die vorgeschlagene Methode integriert Eins-zu-eins- und Eins-zu-viele-Zuweisungsstrategien in einem semi-überwachtem Kontext. Diese Strategien ermöglichen eine bessere Flexibilität beim Umgang mit verschiedenen Tabellenstrukturen und verbessern die Genauigkeit der Objekterkennung.

#Experimentelles Setup

Der TableBank-Datensatz wurde aufgrund seiner umfassenden Natur ausgewählt, da er 417.000 Dokumentenbilder mit Annotationen enthält. Um die Effektivität unseres Modells zu bewerten, haben wir auch die Datensätze PubLayNet und ICDAR-19 genutzt, um die Robustheit unserer Ergebnisse über verschiedene Datenpartitionen hinweg sicherzustellen.

Wir führten verschiedene Experimente mit einem ResNet-50-Rückenstütze durch und testeten unterschiedliche Datenaufsplits (10%, 30% und 50%), um die Leistung zu bewerten. Die mittlere Durchschnittspräzision (mAP) wurde als primäre Metrik für die Bewertung innerhalb spezifischer Grenzen verwendet.

#Bewertungsrichtlinien

Wir bewerteten unsere semi-überwachtem Methode mit Massstäben wie Präzision, Recall und F1-Score. Die Präzision bewertet das Verhältnis korrekt erkannter Instanzen gegenüber falsch positiven Ergebnissen, während der Recall den Anteil an richtig identifizierten positiven Ergebnissen misst. Der F1-Score ist das harmonische Mittel von Präzision und Recall und bietet Einblicke, wie gut beide ausbalanciert sind.

#Ergebnisse und Diskussion

Unsere experimentellen Ergebnisse zeigen die Wirksamkeit des vorgeschlagenen Ansatzes. Besonders hervorzuheben ist, dass unser Framework bestehende Methoden sogar mit nur einer Teilmenge gelabelter Daten übertroffen hat. Die Ergebnisse untermauern die Idee, dass gut gestaltete semi-überwachte Strategien signifikante Leistungsverbesserungen in der Tabellenerkennung erzielen können.

#Vergleichende Analyse früherer Methoden

Wir verglichen unseren Ansatz mit früheren überwachten und semi-überwachten Techniken über die Datensätze hinweg. Unsere Methode zeigte hohe Genauigkeit und Effizienz und demonstrierte die Fähigkeit, effektiv aus begrenzten gelabelten Informationen zu lernen.

#Ablationsstudien

Ablationsstudien wurden durchgeführt, um kritische Designelemente zu bewerten. Der Einfluss der Zuordnungsstrategien wurde bewertet, wobei hervorgehoben wurde, wie die Kombination von Eins-zu-eins- und Eins-zu-viele-Strategien Training und Testeffizienz verbesserte. Darüber hinaus analysierten wir die Auswirkungen der Variation der Anzahl lernbarer Abfragen und die Bedeutung von Pseudo-Labeling-Konfidenzschwellen.

#Fazit

Diese Forschung befasst sich mit den Herausforderungen der Tabellenerkennung innerhalb der Dokumentenanalyse, indem sie einen semi-überwachten Ansatz präsentiert, der effektiv zwei Zuordnungsstrategien kombiniert. Das Lehrer-Schüler-Framework verbessert die Lernfähigkeiten des Modells, sodass gelabelte und ungelabelte Daten besser genutzt werden können.

Zukünftige Arbeiten werden untersuchen, wie das Verhältnis annotierter Daten die Leistung beeinflusst und darauf abzielen, Modelle zu entwickeln, die auch bei minimalen gelabelten Daten effizient bleiben. Dieser Fortschritt im semi-überwachten Lernen stellt einen Schritt nach vorn dar, um effektivere Methoden zur Erkennung von Tabellen in Dokumenten zu schaffen.