Verbesserung der Named Entity Recognition für Finanztexte auf Portugiesisch

Natural Language Processing (NLP) hat in letzter Zeit viel Aufmerksamkeit bekommen, weil es massig Textdaten gibt. Eine wichtige Funktion von NLP ist Named Entity Recognition (NER), das hilft, wichtige Informationen aus geschriebenen Texten herauszuziehen. Viel NER-Forschung hat sich hauptsächlich auf Dokumente in Englisch konzentriert. Allerdings gibt's einen Mangel an Forschung zu finanziellen Texten in Portugiesisch, besonders bei den Earnings Calls brasilianischer Banken. Diese Lücke zeigt, dass es einen spezialisierten Datensatz für NER im Finanzsektor auf Portugiesisch braucht.

#Die Studie

Diese Studie hat das Ziel, diese Lücke zu schliessen, indem wir einen Datensatz aus Transkripten von Earnings Calls brasilianischer Banken sammeln. Wir haben 384 Transkripte gesammelt und schwache Überwachungsmethoden verwendet, um die Entitäten darin zu kennzeichnen. Danach haben wir zwei Arten von Modellen getestet: monolinguale Modelle, die nur mit portugiesischem Text trainiert wurden, und Mehrsprachige Modelle, die mehrere Sprachen verstehen.

#Datensatzsammlung

Wir haben die Transkripte der Earnings Calls von verschiedenen brasilianischen Banken abgerufen. Dazu mussten wir herausfinden, welche Banken ihre Earnings Call-Texte online bereitgestellt haben. Wir haben uns auf grosse Banken konzentriert und deren Details wie Namen und die Jahre, in denen sie Transkripte bereitgestellt haben, notiert. So haben wir eine Liste von Banken erstellt, die wir genutzt haben, um PDF-Dateien ihrer Earnings Calls herunterzuladen.

Nachdem wir die PDF-Dateien hatten, haben wir den Text extrahiert und den Inhalt in einzelne Sätze unterteilt. Dabei sind über 118.000 Sätze für die Analyse entstanden.

#Kennzeichnung der Daten

Um die Daten zu kennzeichnen, haben wir eine Reihe von Kategorien entwickelt, die relevant für den Finanzbereich sind. Diese Kategorien umfassten Entitäten wie Prozentsätze, Geld, Gewinne, Einnahmen und andere finanzielle Begriffe. Wir haben eine Kombination aus vordefinierten Regeln und automatisierten Tools verwendet, um diese Entitäten zu kennzeichnen.

Nach der Kennzeichnung hatten wir über 119.000 Annotationen über verschiedene Sätze verteilt. Die gekennzeichneten Daten wurden dann in drei Sätze für Trainings-, Validierungs- und Testzwecke unterteilt.

#Modellauswahl

Für unsere Analyse haben wir vier Modelle ausgewählt, um ihre Leistung bei der NER-Aufgabe zu testen. Zwei dieser Modelle waren für portugiesischen Text konzipiert, während die anderen beiden mehrsprachig waren. Die monolingualen Modelle waren BERTimbau und PTT5, während die mehrsprachigen Modelle mBERT und mT5 waren. Die Modelle unterscheiden sich in ihrer Architektur und ihren Trainingsprozessen, was den Vergleich interessant macht.

#Feinabstimmung der Modelle

Feinabstimmung ist der Prozess, bei dem Modelle weiter auf einem spezifischen Datensatz trainiert werden, um ihre Leistung zu verbessern. Jedes Modell wurde mit den Earnings Call-Daten, die wir gesammelt hatten, feinjustiert. Wir haben spezifische Schritte unternommen, um die Daten für jedes Modell vorzubereiten, damit sie effektiv aus unserem Datensatz lernen konnten.

Für BERT-basierte Modelle wurden die Eingabesätze tokenisiert, was bedeutet, dass Sätze in kleinere Teile zerlegt werden, die das Modell verstehen kann. Wir haben jedes Token nach einem Tagging-Schema gekennzeichnet, das angibt, ob es Teil einer benannten Entität war oder nicht.

Bei T5-basierten Modellen haben wir die Aufgabe anders formuliert. Anstatt nur Tokens zu klassifizieren, haben wir es in ein Textgenerierungsproblem umgewandelt. Das bedeutete, dass die Aufgabe des Modells darin bestand, einen Eingabesatz zu nehmen und einen Ausgabesatz zu generieren, der Annotationen für die Entitäten enthielt.

#Evaluierung der Modellleistung

Nachdem wir die Modelle feinjustiert hatten, haben wir ihre Leistung an einem separaten Testdatensatz bewertet. Wir haben verschiedene Metriken wie Präzision, Recall und F1-Score verwendet, um zu messen, wie gut die Modelle Entitäten identifiziert haben.

Wir haben festgestellt, dass BERT-basierte Modelle kontinuierlich besser abschnitten als T5-basierte Modelle. Besonders BERTimbau, das portugiesische monolinguale Modell, zeigte hervorragende Ergebnisse im Vergleich zu seinem mehrsprachigen Pendant, mBERT.

Obwohl beide mehrsprachigen Modelle ähnliche Werte aufwiesen, hat sich BERTimbau deutlich von PTT5 abgehoben. Die manuelle Analyse hat ergeben, dass PTT5 und mT5 hohe Ähnlichkeiten in ihren Ausgaben hatten, aber kritische Fehler bei der Veränderung von Geld- und Prozentwerten machten.

#Erkenntnisse

Insgesamt zeigen unsere Ergebnisse einen klaren Unterschied in der Leistung zwischen monolingualen und mehrsprachigen Modellen. BERT-basierte Modelle erwiesen sich als effektiver für die NER-Aufgabe im finanziellen Kontext. Das ist besonders relevant für finanzielle Texte, wo Präzision entscheidend ist.

Wir haben auch herausgefunden, dass die BERT-Modelle in Bezug auf Zeit und Speicher, die für die Inferenz benötigt werden, effizienter waren als die T5-Modelle. Die Unterschiede im Ressourcenverbrauch sind wichtige Überlegungen für praktische Anwendungen.

#Fehleranalyse

Teil unserer Bewertung war eine Fehleranalyse, bei der wir untersucht haben, warum bestimmte Klassifizierungen falsch waren. Wir haben herausgefunden, dass einige Fehler aus dem Kennzeichnungsprozess entstanden. Verschachtelte Entitäten und Variationen in der Ausdrucksweise der gleichen finanziellen Begriffe stellten eine Herausforderung für die Modelle dar.

Während T5-Modelle oft Text produzierten, der dem Original ähnlich war, führten sie auch kritische Fehler bei Werten, die mit Geld oder Prozenten verbunden waren, was in einem finanziellen Kontext zu erheblichen Problemen führen konnte.

#Fazit

Diese Studie hebt die Bedeutung von NER in finanziellen Texten hervor und zeigt die Effektivität von monolingualen Modellen gegenüber mehrsprachigen in diesem spezifischen Kontext. Unser neu entwickelter Datensatz und die Erkenntnisse, die wir aus dem Testen verschiedener Modelle gewonnen haben, können als Grundlage für weitere Forschungen im Bereich NER dienen, insbesondere im Finanzbereich für portugiesische Texte.

Wenn wir auf zukünftige Arbeiten blicken, sind Pläne zur Erweiterung des Datensatzes und zur Verfeinerung der Kennzeichnungstechniken unerlässlich. Indem wir die in dieser Studie festgestellten Herausforderungen angehen, können wir die Qualität von NER-Systemen verbessern und sie zuverlässiger für reale finanzielle Anwendungen machen.