Automatisierung der finanziellen Zahlenkennzeichnung mit KI-Modellen

In der Finanzwelt sind Unternehmen verpflichtet, Berichte einzureichen, die spezifische Zahlen enthalten. Diese Berichte folgen bestimmten Richtlinien, die als Generally Accepted Accounting Principles (GAAP) bekannt sind. Um die Informationen in diesen Berichten für Computer einfacher verständlich und verarbeitbar zu machen, nutzen Unternehmen eine Sprache namens eXtensible Business Reporting Language (XBRL). Dieses System verwendet Tags, um jedes Informationsstück zu kennzeichnen, sodass klar ist, was jede Zahl bedeutet.

Allerdings kann es ziemlich schwierig sein, diese Zahlen richtig zu taggen. Die Anzahl der verfügbaren Tags kann sehr gross sein, manchmal in die Tausende gehen. Die traditionelle Methode besteht darin, ausgebildete Experten die Berichte durchsehen und die richtigen Tags den Zahlen zuzuordnen. Diese Methode ist nicht effizient, da die Einstellung vieler Experten teuer und zeitaufwendig sein kann.

Kürzlich haben Forscher begonnen, Maschinelles Lernen, insbesondere grosse Sprachmodelle (LLMs), zu verwenden, um diesen Tagging-Prozess zu automatisieren. LLMs sind fortschrittliche Arten von künstlicher Intelligenz, die in der Lage sind, menschenähnlichen Text zu verarbeiten und zu generieren. Durch die Nutzung dieser Modelle kann der Tagging-Prozess beschleunigt werden, wodurch die Abhängigkeit von menschlichen Experten verringert wird.

#Die Herausforderung des Taggens von Finanzzahlen

Finanzberichte enthalten viele Zahlen, und jede Zahl kann mit einem anderen Tag verknüpft sein. In einigen Fällen müssen mehrere Zahlen im selben Abschnitt eines Berichts möglicherweise einzigartige Tags haben. In anderen Situationen können Zahlen sowohl relevante Tags als auch irrelevante enthalten. Das schafft ein herausforderndes Umfeld für das Taggen, besonders wenn der Kontext innerhalb der Dokumente begrenzt ist.

Angesichts der grossen Anzahl von Tags wird es entscheidend, ein gutes System zu entwickeln, um automatisch die richtigen Zahlen mit den entsprechenden Bezeichnungen zu identifizieren und zu taggen. Die grossen Mengen an unterschiedlichen Daten in Finanzdokumenten erschweren diesen Prozess zusätzlich.

#Traditionelle Methoden

Früher gingen Forscher dieses Problem mit Methoden der Named Entity Recognition (NER) an. Diese Methoden identifizieren spezifische Entitäten im Text und weisen Labels basierend auf vordefinierten Kategorien zu. Allerdings konzentrierten sich frühere Studien auf eine begrenzte Anzahl von Tags, was für die grosse Vielfalt an Zahlen in Finanzdokumenten nicht ausreicht.

Die bestehenden Systeme hatten Schwierigkeiten, als sie versuchten, mit einem grösseren Satz von Labels zu arbeiten. Einige Modelle zogen beispielsweise die umfangreichen Metadaten, die mit den XBRL-Tags verfügbar sind, nicht in Betracht, was die Leistung hätte verbessern können. Andere Systeme verwendeten Techniken, die während ihrer Inferenzphasen nicht gut für unbekannte Kategorien funktionierten.

#Ein neuer Ansatz mit generativen Modellen

Unsere Forschung untersucht, wie Generative Modelle das Problem des Taggens von Finanzzahlen in Berichten effektiv angehen können. Im Gegensatz zu traditionellen Modellen, die stark auf das Abstimmen auf spezifische Beispiele angewiesen sind, haben generative Modelle die Fähigkeit, Texte basierend auf dem Kontext zu produzieren, den sie erhalten. Das bedeutet, dass sie potenziell unbekannte Labels taggen können, ohne zuvor damit in Kontakt gekommen zu sein.

In unserem Ansatz nutzen wir ein spezifisches Modell namens FLAN-T5. Dieses Modell ist sorgfältig mit spezifischen Anweisungen abgestimmt, um die Leistung für die finanzielle Labeling-Aufgabe zu verbessern. Wir wollen unser Modell nicht nur darauf trainieren, die Tags zu generieren, sondern auch detaillierte Tag-Beschreibungen zu erstellen, die den Kontext für das Tagging-System bereichern.

#Unsere Methodik

Wir haben eine strukturierte Methodik verwendet, die aus zwei Hauptphasen besteht: einer generativen Phase und einer Tagging-Phase.

#Generative Phase

In der ersten Phase erhält das Modell einen Finanzbericht zusammen mit einer Frage zu einer bestimmten Zahl in diesem Bericht. Das Ziel ist, dass das Modell eine geeignete XBRL-Tag-Beschreibung generiert, anstatt direkt das Tag selbst bereitzustellen. Durch die Generierung detaillierter Beschreibungen kann das Modell besser zwischen ähnlichen Tags, die geringfügige Variationen aufweisen, unterscheiden.

#Tagging-Phase

Sobald wir die generierten Tag-Beschreibungen haben, gehen wir in die Tagging-Phase über. Hier vergleicht ein separates Modul die von dem Modell erzeugte Dokumentation mit den tatsächlichen Tags. Es vergleicht die generierten Beschreibungen mit einem Satz von Ground Truth-Beschreibungen, um das endgültige Tag für die Zahl vorherzusagen.

Dieser zweiphasige Ansatz ermöglicht es uns, die Stärken sowohl der generativen Modelle als auch der traditionellen Tagging-Methoden zu nutzen und ein insgesamt effektiveres System zu schaffen.

#Experimentation

Um die Effektivität unseres Ansatzes zu testen, haben wir mehrere Experimente an kürzlich veröffentlichten Datensätzen durchgeführt, die eine breite Palette von Finanzdokumenten enthalten. Wir haben unser vorgeschlagenes Modell mit verschiedenen etablierten Systemen verglichen, um die Leistung über mehrere Metriken zu bewerten.

#Evaluationsmetriken

Wir haben mehrere Metriken verwendet, um die Leistung unserer Modelle zu bewerten, darunter:

• Macro Precision: Misst den Anteil der wahren positiven Ergebnisse in den Vorhersagen des Modells.
• Macro Recall: Bewertet die Fähigkeit des Modells, alle relevanten Instanzen innerhalb der Daten zu finden.
• Macro F1 Score: Kombiniert Präzision und Recall und bietet ein Gleichgewicht zwischen beiden.
• Hits@1: Überprüft, wie oft die beste Vorhersage des Modells korrekt ist.

#Ergebnisse

Unsere Experimente haben gezeigt, dass unser Modell alle getesteten Baselines umfassend übertroffen hat. Insbesondere das FLAN-T5-Modell mit unserer Anweisung-Abstimmungsmethode zeigte signifikante Verbesserungen sowohl in den Metriken Macro F1 als auch Hits@1 im Vergleich zu traditionellen Feintuning-Techniken.

Darüber hinaus haben wir festgestellt, dass unser Modell beeindruckende Zero-Shot-Leistungen zeigt und einen hohen Macro F1-Score bei Labels erzielt, die es während des Trainings noch nie gesehen hat. Dieses Ergebnis unterstreicht die Fähigkeit des generativen Modells, sich an neue Situationen anzupassen, ohne zusätzliches Training zu benötigen.

#Herausforderungen seltener Labels

Eine der grössten Herausforderungen beim Taggen von Finanzzahlen ist das korrekte Taggen seltener Labels. Diese Labels erscheinen möglicherweise selten in den Trainingsdaten, was es den Modellen erschwert, genaue Darstellungen zu lernen. Unsere Ergebnisse zeigen, dass unser Modell bestehende Systeme beim Taggen dieser seltenen Labels erheblich übertroffen hat.

Durch die Erstellung robusterer Tag-Beschreibungen kann das Modell zwischen Tags mit ähnlicher Wortwahl unterscheiden, wodurch die Fehlerquote für seltene Kategorien gesenkt wird.

#Wichtige Beiträge

Unsere Arbeit trägt zum Bereich der Analyse von Finanzdokumenten bei, indem wir einen generativen Rahmen für die Aufgabe der finanziellen Zahlenlabeling einführen. Wir zeigen die Vorteile der Verwendung fortschrittlicher Sprachmodelle, insbesondere im Kontext der parameter-effizienten Anweisung-Abstimmung.

Die Ergebnisse, die wir erzielt haben, verdeutlichen die Effektivität unseres Ansatzes, der es unserem Modell ermöglicht, in Szenarien, die zuvor als herausfordernd oder sogar unlösbar durch traditionelle Methoden galten, erfolgreich zu sein.

#Zukünftige Arbeiten

Für die Zukunft gibt es noch Raum für Verbesserungen. Unser Modell berücksichtigt bisher kein externes Finanzwissen, was die Tag-Vorhersagen weiter verfeinern könnte. Durch die Integration breiterer Kontextelemente und fortschrittlicher Fachkenntnisse wollen wir die Tagging-Genauigkeit erhöhen und subtile Unterschiede zwischen ähnlichen Tags angehen.

Darüber hinaus könnte die Schaffung eines Feedback-Loops, der menschliche Eingaben einbezieht, den Lernprozess verbessern und dem Modell ermöglichen, sich anzupassen und im Laufe der Zeit auf Basis von realen Anwendungen zu verbessern.

#Fazit

Zusammenfassend präsentiert unsere Forschung einen bedeutenden Fortschritt in der Automatisierung des Taggens von Finanzzahlen. Durch die Nutzung grosser Sprachmodelle und den Vorschlag eines generativen Ansatzes haben wir ein System entwickelt, das in der Lage ist, Finanzdaten in einer effizienten und skalierbaren Weise genau zu taggen. Während sich das Finanzfeld weiterentwickelt, wird die Integration von maschinellem Lernen und natürlicher Sprachverarbeitung eine zunehmend wichtige Rolle dabei spielen, Prozesse zu optimieren und die Entscheidungsfindung zu verbessern.

Die Verwendung von LLMs stellt eine vielversprechende Richtung für die Analyse von Finanzdokumenten dar, mit dem Potenzial, nicht nur die Genauigkeit zu verbessern, sondern auch die Gesamteffizienz der Datenverwaltung in diesem wichtigen Sektor zu steigern.