Verbesserung des Dokumentenverständnisses durch schwach beschriftete Daten

Dokumentenverständnis-Aufgaben sind echt wichtig geworden, besonders im Bereich der Unternehmens-KI. Eine spezielle Aufgabe ist die Visually-rich Document Entity Retrieval (VDER). Diese Aufgabe hilft dabei, Informationen aus Dokumenten zu identifizieren und zu extrahieren, die sowohl Bilder als auch Text enthalten. Ein grosses Problem in diesem Bereich ist der Mangel an öffentlich verfügbaren Daten. Das liegt hauptsächlich an Datenschutzbedenken und den hohen Kosten für die Dokumentenannotations. Ausserdem haben verschiedene Datensätze oft unterschiedliche Entitätstypen, was den Wissensaustausch zwischen ihnen schwierig macht.

In diesem Artikel wird eine neue Methode vorgestellt, um eine grosse Anzahl schwach beschrifteter Dokumente aus dem Web zu sammeln, um das Training von VDER-Modellen zu verbessern. Der gesammelte Datensatz ist nicht auf spezielle Dokumenttypen oder Entitätssätze begrenzt. Dadurch kann er für alle Arten von Dokumentenverständnis-Aufgaben genutzt werden.

#Die Herausforderung des Dokumentenverständnisses

Dokumentenverständnis wird oft als herausfordernde Aufgabe angesehen. Viele Menschen haben beim Verstehen von Dokumenten in ihrem Alltag mit Fehlern und Schwierigkeiten zu kämpfen. Maschinelles Lernen hat es möglich gemacht, einige dieser Aufgaben zu automatisieren, aber es gibt immer noch bedeutende Herausforderungen zu überwinden.

Bei einer typischen VDER-Aufgabe muss Informationen aus Dokumenten basierend auf spezifischen Entitätstypen abgerufen werden. Diese Typen könnten „Betrag“, „Datum“ und „Artikelname“ umfassen, die in Rechnungen häufig vorkommen. Eines der Hauptprobleme ist die begrenzte Verfügbarkeit von Rohdokumentbildern, hauptsächlich weil viele Dokumente persönliche Informationen enthalten, die durch Datenschutzgesetze geschützt sind.

Die Kosten für die Annotation dieser Dokumente sind ebenfalls hoch. Meistens erfordert diese Aufgabe geschulte Annotatoren, was die Herausforderungen erhöht. Ausserdem können verschiedene Dokumenttypen inkonsistente Labels und Bedeutungen haben, was den Wissensaustausch zwischen den verschiedenen Dokumenttypen erschwert.

#Aktuelle Modelle und ihre Einschränkungen

Es wurden verschiedene Modelle für VDER-Aufgaben vorgeschlagen, aber jedes hat seine eigenen Einschränkungen. Typischerweise beginnen die bestehenden Methoden mit einem Sprachmodell, das dann mit Dokumentdatensätzen und zusätzlichen Layout- und visuellen Merkmalen feinjustiert wird. Selbst der grösste derzeit verfügbare Datensatz, der IIT-CDIP-Datensatz, hat seine Einschränkungen, da er nur eine kleine Stichprobe von Dokumenttypen darstellt.

Dieser Artikel stellt eine neue Methode vor, um einen Datensatz zu erstellen, der ein gross angelegtes Pre-Training für VDER-Modelle erleichtert. Der Datensatz wird aus dem Web gesammelt, wobei eine spezifische Struktur verwendet wird, die Hunderte von Dokumenttypen und ihre Organisation in Ebenen berücksichtigt.

#Daten Sammelprozess

Bildersammeln aus dem Web scheint einfach, erfordert aber in Wirklichkeit einen gut durchdachten Ansatz. Die meisten Bilder im Internet passen nicht zu den Dokumenttypen, die wir suchen. Ein effektiverer Weg, relevante Bilder zu sammeln, ist die Verwendung einer nächstgelegenen Nachbarschaftssuche mit relevanten Schlüsselwörtern.

Der Prozess beginnt damit, eine Liste von Schlüsselwörtern in Englisch zu erstellen, die zu verschiedenen Dokumenttypen passen. Diese Schlüsselwörter werden dann in einem gemeinsamen Raum codiert, der sowohl Text als auch Bilder umfasst. Ein Suchalgorithmus kann dann die relevantesten Bilder basierend auf diesen Schlüsselwörtern finden. Nachdem die Bilder gesammelt wurden, wird ein Duplikationsprozess angewendet, um sicherzustellen, dass wir nur einzigartige Bilder haben.

#Erstellung einer Ontologieliste

Ein wichtiger Teil dieses Prozesses ist die Erstellung einer Ontologieliste, die als Grundlage für das Abrufen von Bildern dient. Eine gut strukturierte Ontologie sollte eine breite Palette relevanter Schlüsselwörter enthalten, die mit Dokumentenbereichen wie Finanzen, Wirtschaft, rechtlichen Angelegenheiten und Bildung zu tun haben. Dieses Papier skizziert eine kuratierte Liste von etwa 400 dokumentenbezogenen Schlüsselwörtern, die verschiedene Themen abdecken.

#Multimodale Tokenisierung

Nachdem die Dokumentbilder gesammelt wurden, müssen sie verarbeitet werden, damit sie für maschinelles Lernen verwendbar sind. Der erste Schritt in diesem Prozess ist die Anwendung von Optical Character Recognition (OCR), um die Bilder in Text umzuwandeln. Jedes extrahierte Zeichen kommt mit seinen Begrenzungsrahmen-Koordinaten, was uns ermöglicht zu verstehen, wo im Bild der Text sich befand.

Nach diesem Schritt erfolgt eine multimodale Tokenisierung. Die Text-Tokens werden mit Bildausschnitten ausgerichtet, die visuelle Informationen repräsentieren, die für jedes Token relevant sind. Diese Ausrichtung ermöglicht ein integrierteres Verständnis von sowohl Text- als auch Bilddaten.

#Pre-Training-Pipeline

Die Pre-Training-Pipeline umfasst mehrere Ziele, die die Lernfähigkeiten des Modells verbessern. In dieser Phase werden OCR-generierte Textsequenzen in Verbindung mit den Bildausschnitten verwendet, um dem Modell beizubringen, wie man Dokumente besser verarbeitet und versteht. Jede Eingabe wird mit Positions-Embedding kombiniert, um die räumliche Anordnung von Text und Bildern zu erfassen.

#Annotation und Qualitätskontrolle

Sobald der Text generiert ist, durchläuft er einen schwachen Annotationsprozess, um Segmente in verschiedenen Kategorien wie E-Mail-Adressen, Daten, Preise und Namen zu klassifizieren. Auch wenn einige Klassifizierungen Fehler enthalten können, liefern diese Labels zusätzliche Orientierung für das Modell während des Pre-Trainings.

Um sicherzustellen, dass der Datensatz von hoher Qualität bleibt, werden heuristische Filtermethoden angewendet. Dieser Schritt eliminiert Proben, bei denen die OCR-Ergebnisse aufgrund unscharfer Bilder schlecht sind. Es ist wichtig, die Qualität der gesammelten Daten aufrechtzuerhalten, da minderwertige Proben den Lernprozess des Modells behindern können.

#Vorteile des Ansatzes

Der in diesem Artikel diskutierte Ansatz ermöglicht das Sammeln grosser Mengen vielfältiger Dokumentendaten zu geringeren Kosten als traditionelle Datensammlungsverfahren. Ausserdem sind die gesammelten Daten gut strukturiert und annotiert, was das Training von VDER-Modellen verbessert.

Durch die Nutzung aktueller Fortschritte im maschinellen Lernen und grossen Sprachmodellen dient der vorgeschlagene Datensatz als bedeutende Ressource zur Verbesserung der Dokumentenverständnis-Aufgaben.

#Experimentelle Ergebnisse

Es wurden mehrere Experimente durchgeführt, um die Wirksamkeit des gesammelten Datensatzes zu testen. Verschiedene Dokumentenverständnis-Aufgaben wurden bewertet, und die Ergebnisse zeigten signifikante Leistungsverbesserungen, als der neue Datensatz in das Training sowohl klassischer als auch Few-Shot-Lernmodelle integriert wurde.

#Die Bedeutung der Datenvielfalt

Eine bemerkenswerte Erkenntnis aus den Experimenten ist die Wichtigkeit, einen vielfältigen Datensatz zu haben. Eine Vielzahl von Dokumenttypen trägt erheblich zur Leistung des Modells bei. Der neu gesammelte Datensatz, der 30 Millionen Dokumente aus fast 400 verschiedenen Dokumenttypen umfasst, zeigt klare Vorteile gegenüber kleineren, einseitigen Datensätzen.

#Zukünftige Arbeiten

Obwohl die aktuellen Methoden vielversprechend sind, gibt es immer noch mehrere Bereiche, die weiterer Erkundung bedürfen. Zukünftige Forschungen könnten sich auf die Verfeinerung der Schlüsselwort- und Bildsammlungsstrategien konzentrieren, um die Daten für bessere Modellergebnisse zu optimieren. Ausserdem besteht Potenzial, die Architekturen weiter zu untersuchen, die speziell dafür entworfen wurden, grosse Mengen an verrauschten Daten effektiv zu nutzen.

Ein weiteres zu berücksichtigendes Gebiet ist, wie man die verschiedenen Dokumenttypen effektiv verwalten kann. Viele Dokumente können ähnliche Strukturen, aber unterschiedliche Inhalte haben, was erfordert, dass Modelle anpassungsfähig sind, um sowohl ausgefüllte als auch nicht ausgefüllte Formulare zu verarbeiten.

#Fazit

Dieser Artikel präsentiert eine neue Methode zur Sammlung und Verarbeitung grosser Mengen Dokumentendaten aus dem Web, um die Aufgaben des Dokumentenverständnisses, insbesondere VDER, zu verbessern. Der Ansatz geht nicht nur auf die aktuellen Herausforderungen in diesem Bereich ein, wie Datenknappheit und Datenschutzbedenken, sondern betont auch die Bedeutung, einen vielfältigen und gut strukturierten Datensatz zu haben.

Insgesamt deuten die Ergebnisse darauf hin, dass die vorgeschlagenen Methoden signifikante Verbesserungen in der Modellleistung erzielen, was es zu einem wertvollen Beitrag im Bereich des Dokumentenverständnisses macht. Zukünftige Forschungsarbeiten sollten auf diesen Erkenntnissen aufbauen, um die Fähigkeiten der VDER-Modelle weiter zu verbessern und neue Möglichkeiten zu erkunden, wie gesammelte Daten effizienter genutzt werden können.