Verbesserung der Klassifizierung von juristischen Texten mit begrenzten Daten

Dieser Artikel beschäftigt sich damit, wie man juristische Texte klassifiziert, besonders wenn es nicht viele beschriftete Daten gibt. Das Problem tritt oft auf, wenn es nur wenige Beispiele für bestimmte Kategorien gibt, was die Genauigkeit der Ergebnisse verringern kann. Um dem entgegenzuwirken, schauen wir uns zwei Hauptansätze zur Verbesserung der Klassifizierung an: einen namens SetFit und eine reguläre Feinabstimmungsmethode. Beide Methoden zielen darauf ab, juristische Bestimmungen zu klassifizieren, die spezifische Regeln oder Klauseln in juristischen Dokumenten sind. Ausserdem untersuchen wir, wie man die Entscheidungen der Modelle in Bezug auf Merkmale interpretiert, was hilft zu verstehen, warum ein Modell eine bestimmte Kategorie vorhergesagt hat.

#Die Herausforderung der Knappheit in juristischen Daten

Gute juristische Daten zu finden, die öffentlich verfügbar sind, kann schwierig sein. Obwohl es einige Datensätze gibt, sind sie nicht immer ausgewogen. Das bedeutet, dass bestimmte Kategorien viel mehr Beispiele haben als andere, was sich darauf auswirkt, wie gut ein Modell abschneidet, wenn es auf eine Kategorie mit weniger Beispielen trifft. In Situationen, in denen Daten begrenzt sind, ist eine gängige Lösung eine Strategie namens Few-Shot-Learning. Das bedeutet, ein Modell mit einer kleinen Anzahl von beschrifteten Beispielen zu trainieren und es anzupassen, um spezifische Aufgaben zu erfüllen.

#Ziel bessere Klassifizierung

In dieser Arbeit haben wir uns drei Hauptziele gesetzt. Erstens verfeinern wir ein Modell namens LegalBERT mit einem Datensatz, der öffentlich verfügbar ist, speziell für die Klassifizierung juristischer Bestimmungen. Wir vergleichen, wie gut die kontrastive Lernmethode (SetFit) im Vergleich zur Standard-Fine-Tuning-Methode abschneidet. Als Nächstes verwenden wir auch eine ausgewogene Version desselben Datensatzes, um zu prüfen, ob das einen Einfluss hat. Schliesslich wollen wir herausfinden, wie vertrauenswürdig das Modell ist, indem wir die Merkmale analysieren, die es zur Vorhersage verwendet.

#Vorherige Arbeiten

Die Klassifizierung juristischer Texte hat oft auf Modelle wie BERT zurückgegriffen. Obwohl diese Modelle gut abschneiden, berücksichtigen sie nicht das Problem, dass für bestimmte Anwendungen nur begrenzte Daten vorliegen. Einige Studien haben sich mit effizienteren Feinabstimmungsmethoden beschäftigt, die bei diesem Problem helfen könnten, eine davon ist SetFit. Dieser Ansatz nutzt eine kleine Anzahl von Textpaaren, um das Modell so zu trainieren, dass es besser lernt, auch wenn nur wenige Beispiele zur Verfügung stehen.

#Was ist SetFit?

SetFit ist eine Methode, die hilft, Modelle auf eine Weise zu verfeinern, die nicht von Aufforderungen oder zusätzlichen Anweisungen abhängt. Es erzeugt sowohl positive als auch negative Beispiele aus den vorhandenen Daten, um einen grösseren Trainingssatz zu erstellen. Die Methode umfasst zwei wichtige Schritte: Zuerst wird das Modell mit einem kontrastiven Ansatz trainiert, und dann wird ein Klassifikator auf der Grundlage dieses ersten Trainings trainiert.

#Der Trainingsprozess

Das Training beinhaltet, eine kleine Menge an beschrifteten Beispielen zu nehmen und Satzpaare zu erstellen. Für jeden Typ von Label werden positive Paare aus Sätzen erstellt, die zu diesem Label gehören, und negative Paare aus Sätzen unterschiedlicher Labels. Dies hilft, die Grösse des Trainingssatzes zu erhöhen, selbst wenn die verfügbaren Beispiele wenige sind.

#Klassifikationskopf-Training

Nachdem das Modell aus den Paaren gelernt hat, kodiert es die ursprünglichen beschrifteten Trainingsbeispiele, um eine einzige Darstellung für jedes Beispiel zu erstellen. Diese wird dann verwendet, um einen Klassifikator zu trainieren, der vorhersagt, zu welcher Kategorie ein neues Beispiel während der Inferenzphase gehört.

#Datensatzinformationen

Die Studie nutzt einen öffentlichen Datensatz namens LEDGAR. Dieser Datensatz hat eine beträchtliche Anzahl an Trainingsbeispielen, aber sie sind nicht gleichmässig auf die verschiedenen Labels verteilt. Zum Testen wird eine kleinere Teilmenge von Beispielen ausgewählt, um die Leistung der verglichenen Klassifizierungsmethoden zu bewerten.

#Ausgleich der Daten

Um das Ungleichgewicht im ursprünglichen Datensatz zu beheben, haben wir die häufigsten Labels ausgewählt und die Anzahl der Proben entsprechend angepasst. Für Labels, die viele Beispiele hatten, haben wir die Anzahl auf eine bestimmte Zahl reduziert, und für diejenigen, die weniger hatten, haben wir zusätzliche Daten gesucht, um einen ausgewogeneren Datensatz zu erstellen.

#Experimentelle Einrichtung

Die Art und Weise, wie wir die Modelle verfeinern, ist entscheidend für die Ergebnisse. Wir haben die Einstellungen für beide Methoden gleich gehalten, um gültige Vergleiche sicherzustellen. Besonders erwähnenswert ist, dass wir eine Trainingsrunde für beide Modelle verwendet und spezifische Metriken überwacht haben, um ihre Leistung zu bewerten.

#Ergebnisse: F1-Score-Vergleiche

Die Ergebnisse zeigen, dass SetFit einen höheren F1-Score im Vergleich zur regulären Feinabstimmungsmethode erreicht hat, selbst wenn weniger Trainingsbeispiele verwendet wurden. Das ist besonders auffällig in Situationen, in denen der Datensatz unausgewogen war. Der F1-Score ist ein Mass, das hilft, die Genauigkeit eines Modells zu bewerten, besonders in Situationen, in denen Klassen nicht gleichmässig vertreten sind.

#Genauigkeitsbewertung

Beim Vergleich der Gesamtgenauigkeit beider Methoden auf verschiedenen Datensätzen zeigten die Modelle ähnliche Leistungen. SetFit zeigte jedoch einen stärkeren Start in Szenarien mit begrenzten Daten. Das deutet darauf hin, dass seine einzigartige Trainingsmethode in solchen Situationen einen Vorteil bietet.

#Die Entscheidungen des Modells mit LIME interpretieren

Im juristischen Bereich ist es wichtig, den Entscheidungen von KI-Systemen vertrauen zu können. Eine Möglichkeit, dieses Vertrauen aufzubauen, ist, Erklärungen für die Vorhersagen des Modells bereitzustellen. Es gibt verschiedene Methoden zur Erklärung von Vorhersagen, einschliesslich LIME, das sich darauf konzentriert, interpretierbare Modelle zu erstellen, die treu zum ursprünglichen Klassifikator sind.

#Positive und negative Merkmale

Bei Aufgaben zur Textklassifizierung konzentriert sich LIME auf die Worte, die in den juristischen Bestimmungen enthalten sind. Die Merkmale, die positiv zu Vorhersagen beitragen, werden als positive Merkmale bezeichnet, während diejenigen, die von den Vorhersagen ablenken, negative Merkmale genannt werden. Durch die Analyse dieser Merkmale mit LIME können wir Einblicke gewinnen, wie die Modelle ihre Entscheidungen treffen.

#Vergleich von SetFit und Vanilla-Modellen

Durch die Untersuchung der von beiden Modellen identifizierten Merkmale für spezifische Labels können wir sehen, wie SetFit dazu neigt, Merkmale zu betonen, die intuitiv relevanter für den juristischen Kontext sind. Das war besonders auffällig, als wir uns die positiv gewichteten Merkmale ansahen, wie Schlüsselwörter, die sich auf die zu klassifizierenden juristischen Bestimmungen beziehen.

#Fazit

Diese Studie hebt die Bedeutung des Ansatzes hervor, der bei der Klassifizierung juristischer Texte gewählt wird, insbesondere in Situationen, in denen beschriftete Daten knapp sind. Sie zeigt, dass der Einsatz von kontrastiven Lernmethoden wie SetFit bessere Ergebnisse liefern kann als die Standard-Fine-Tuning-Methode, besonders in Bezug auf die Merkmale, auf die Modelle bei der Vorhersage zurückgreifen. Die Ergebnisse unterstützen die Vorstellung, dass hochwertige Daten und die richtigen Methoden erheblichen Einfluss auf den Erfolg der Klassifizierung juristischer Texte haben können.

#Zukünftige Arbeiten

Blickt man in die Zukunft, könnte es hilfreich sein, andere Hyperparameter der SetFit-Methode zu erkunden und verschiedene Erklärtechniken wie SHAP anzuwenden. Darüber hinaus könnte die Konsultation mit juristischen Experten helfen, festzustellen, ob die von diesen Modellen identifizierten Merkmale für Anwendungen in der realen Welt geeignet sind. Indem wir diese Bereiche angehen, könnten wir die Fähigkeiten von Modellen zur Klassifizierung juristischer Texte weiter verbessern, was letztendlich zu zuverlässigeren und effektiveren KI-Systemen im juristischen Bereich führt.