Technologie für Gerechtigkeit bei Arbeitsstreitigkeiten nutzen

Diese Arbeit schaut sich an, wie Technologie Menschen helfen kann, Gerechtigkeit zu bekommen, indem sie ein Datensatz erstellt, um die Ergebnisse von Fällen im UK Employment Tribunal (UKET) vorherzusagen. Ziel ist es, es einfacher zu machen, zu verstehen, wie Fälle ausgehen können, besonders für die, die in Konflikte über die Arbeit verwickelt sind, wie ungerechtfertigte Entlassungen, Diskriminierung oder Vertragsverletzungen. Die Studie geht die schwierige Aufgabe an, viele Fälle manuell zu überprüfen, indem sie ein fortschrittliches Computerprogramm nutzt, um automatisch Informationen zu sammeln. Das Ergebnis ist der CLC-UKET-Datensatz, der etwa 19.000 Fälle und deren Details enthält.

#Erstellung des CLC-UKET-Datensatzes

Der CLC-UKET-Datensatz enthält verschiedene Details zu UKET-Fällen. Jeder Fall hat Informationen wie einzigartige Fall-IDs, Gerichtstermine und verschiedene Codes, die die Art des Streits beschreiben. Der Datensatz bietet detaillierte Notizen zu jedem Fall, wie die beteiligten Fakten, die erhobenen Ansprüche, Verweise auf Gesetze, die Ergebnisse der Fälle und die Gründe für diese Ergebnisse.

Ein Teil des Datensatzes, CLC-UKET 1, enthält 19.090 Urteile des UKET, die zwischen 2011 und 2023 gehört wurden. Dies beinhaltet rechtliche Hinweise zu den Kernpunkten jedes Falls. Ein anderer Teil, CLC-UKET 2, ist speziell darauf ausgelegt, um Ergebnisse vorherzusagen und besteht aus 14.582 Fällen mit Erklärungen zu deren Fakten und Ansprüchen.

Um zu vergleichen, wie gut verschiedene Methoden zur Vorhersage von Ergebnissen funktionieren, wurden Vorhersagen von Menschen gesammelt. Ziel ist es, zu verstehen, wie sich maschinelle Vorhersagen im Vergleich zu menschlichen Vorhersagen schlagen.

#Die Bedeutung des UK Employment Tribunal

Das UK Employment Tribunal spielt eine wichtige Rolle bei der Lösung von Streitigkeiten zwischen Arbeitnehmern und Arbeitgebern. Es behandelt eine Vielzahl von Themen und sorgt dafür, dass die Arbeitsrechte geschützt sind. Wenn Einzelpersonen die wahrscheinlichen Ergebnisse ihres Falls kennen, können sie bessere Entscheidungen zur Beilegung von Streitigkeiten treffen, was zu friedlicheren Lösungen führen kann.

Um in einem Fall erfolgreich zu sein, müssen die Kläger (die Personen, die den Fall einbringen) bestimmte Regeln einhalten. Sie müssen ihre Ansprüche rechtzeitig einreichen, notwendige Beweise vorlegen und unangebrachtes Verhalten vermeiden, das ihre Chance auf einen fairen Prozess gefährden könnte. Es gibt auch verschiedene Kriterien, die für verschiedene Arten von Ansprüchen erfüllt sein müssen. Zum Beispiel muss in einem Fall von Diskriminierung aufgrund einer Behinderung der Kläger nachweisen, dass er ein Arbeitnehmer war, dass er eine Behinderung hat und dass Diskriminierung stattfand.

Wenn ein Fall vor das Tribunal gebracht wird, reichen sowohl der Kläger als auch der Arbeitgeber ihre Ansprüche und Antworten über ein Standardformular ein. Die Richter des Tribunals überprüfen diese Formulare und können entweder einen Fall aus verfahrensrechtlichen Gründen abweisen oder über die Merkmale des Falls entscheiden. Im Laufe der Zeit können mehrere Entscheidungen getroffen werden, die jeweils in separaten Dokumenten festgehalten werden.

Jeder Fall erhält einen oder mehrere Codes, die die Art des Streits anzeigen. Es gibt 54 solcher Codes im UKET, wie etwa "ungerechtfertigte Entlassung", der verwendet wird, wenn jemand behauptet, er wurde unfair aus seinem Job entlassen.

#Verwandte Forschung

Quantitative Methoden zur Analyse von juristischen Urteilen sind nichts Neues. Frühere Studien haben verschiedene Faktoren untersucht, die die rechtlichen Ergebnisse beeinflussen können, wie Demografie. Viele dieser Studien erforderten einen erheblichen manuellen Aufwand, da sie keinen Online-Zugang zu den Fallurteilen hatten.

Kürzlich haben Fortschritte im Deep Learning und die Erstellung grosser juristischer Datensätze die Forschung zur Vorhersage von juristischen Urteilen angestossen. Verschiedene Modelle wurden entwickelt, um die Ergebnisse von Fällen in zivilrechtlichen und common-law-Systemen zu analysieren. Dennoch wurde die Vorhersage von Ergebnissen im britischen Rechtssystem, insbesondere im Arbeitsrecht, noch nicht so gründlich untersucht.

#Wie der CLC-UKET-Datensatz erstellt wurde

Um den CLC-UKET-Datensatz zu erstellen, wurden eine grosse Anzahl von UKET-Fällen überprüft. Zunächst enthielt die Rohdaten über 52.000 Fälle. Viele dieser Fälle waren sehr kurz und betrafen einfache Verfahrensentscheidungen, sodass nur die Fälle mit detailreicheren Informationen im endgültigen Datensatz enthalten sind.

Nach der Filterung wurden 19.090 Fälle für den CLC-UKET 1-Datensatz ausgewählt, wobei Metadaten zu jedem Fall gesammelt wurden. Die Informationen umfassen Identifikatoren, Daten und Jurisdiktioncodes, die mit den spezifischen in Gericht präsentierten Themen verknüpft sind.

Der nächste Schritt bestand darin, ein Sprachmodellprogramm zu verwenden, um diese juristischen Dokumente automatisch zu annotieren. Das bedeutet, dass wichtige Details aus den Fallentscheidungen extrahiert wurden, damit die Forscher einen umfassenderen Datensatz erstellen konnten.

Mit diesem annotierten Datensatz wurden detaillierte Notizen zu den wesentlichen Aspekten jedes Falls gemacht, einschliesslich:

1. Fakten des Falls
2. Erhobene Ansprüche
3. Verweise auf relevante Gesetze
4. Allgemeine Ergebnisse der Fälle
5. Gründe für die Entscheidungen

Sobald der Datensatz entwickelt wurde, wurde er organisiert, um bei der Vorhersage der Ergebnisse von Fällen zu helfen.

#Vorhersage von Fall-Ergebnissen

Ein Hauptteil des Datensatzes ist darauf ausgelegt, die Ergebnisse von Fällen basierend auf den Fakten und Ansprüchen vorherzusagen, die präsentiert werden. Genauer gesagt zielt diese Vorhersageaufgabe darauf ab, Ergebnisse in vier Labels zu kategorisieren: „Kläger gewinnt“, „Kläger verliert“, „Kläger gewinnt teilweise“ und „anderes“.

Die für diese Aufgabe verwendeten Sprachmodelle wurden auf dem Datensatz trainiert, um sicherzustellen, dass sie die Ergebnisse ausschliesslich basierend auf den Fakten und Ansprüchen genau vorhersagen, ohne vorherige Kenntnisse über die tatsächlichen Ergebnisse. Menschliche Vorhersagen wurden als Benchmark verwendet, um die Leistung der Modelle zu bewerten.

#Experimentieren mit verschiedenen Modellen

Eine Vielzahl von Modellen wurde unter Verwendung des CLC-UKET-Datensatzes getestet. Transformer-basierte Modelle wie BERT und T5 wurden speziell für diese Vorhersageaufgabe feinjustiert. Darüber hinaus wurden auch grössere Sprachmodelle wie GPT-3.5 und GPT-4 getestet, um zu sehen, wie sie in unterschiedlichen Einstellungen abschneiden.

In der Bewertung stellte sich heraus, dass das feinjustierte T5-Modell insgesamt am besten abschnitt. Dennoch gab es eine spürbare Lücke zwischen den maschinellen Vorhersagen und denen von menschlichen Experten. Menschliche Vorhersagen waren in vielen Fällen genauer, was die Komplexität des Verständnisses rechtlicher Streitigkeiten zeigt.

Die Studie fand auch heraus, dass Sprachmodelle wie GPT-4 gut abschnitten, besonders wenn sie relevante Beispiele im Few-Shot-Format erhielten. Das bedeutet, dass das Modell frühere Beispiele nutzen konnte, um seine Vorhersagen für neue Fälle zu verbessern.

#Menschliche Vorhersagen als Benchmark

Um die Leistung der Modelle besser zu verstehen, wurden juristische Experten gebeten, Ergebnisse basierend auf denselben Fakten und Ansprüchen vorherzusagen, die für die Modelle verwendet wurden. Dieser Prozess lieferte einen Referenzpunkt, um zu bewerten, wie gut die Modelle abschnitten.

Die menschlichen Vorhersagen wurden von zwei juristischen Experten getroffen, die mit dem britischen Arbeitsrecht vertraut sind. Sie überprüften die Fakten und Ansprüche und machten Vorhersagen, die sich nur auf die bereitgestellten Informationen stützten. Jede vorhergesagte Ausgabe erhielt Konsistenzprüfungen, um die Zuverlässigkeit der Ergebnisse sicherzustellen.

#Ergebnisse verstehen

Die Gesamtergebnisse der Vorhersageaufgabe zeigten wichtige Einblicke. Alle Modelle schnitten besser ab als zufälliges Raten, was ihre Effektivität anzeigt. Dennoch sticht das feinjustierte T5-Modell als Top-Performer hervor.

Trotz der starken Leistungen der Modelle übertrafen menschliche Vorhersagen in mehreren Bereichen die maschinellen Ergebnisse. Dieser Unterschied hebt die Herausforderungen hervor, die mit der genauen Vorhersage rechtlicher Ergebnisse ausschliesslich basierend auf den bereitgestellten Daten verbunden sind.

Die Modelle zeigten Stärken und Schwächen. Während sie gut darin waren, vorherzusagen, wann Kläger gewannen oder verloren, hatten sie Schwierigkeiten mit komplexeren Ergebnissen. Dies deutet darauf hin, dass Vorhersageaufgaben, die mehrere Ansprüche oder komplizierte Details beinhalten, sowohl für Menschen als auch für Maschinen schwierig sind.

Die Ergebnisse hoben auch Variationen in der Leistung der Modelle in verschiedenen Kategorien hervor. Im Allgemeinen hatten die Modelle hohe Rückrufwerte, aber eine niedrigere Präzision bei der Vorhersage bestimmter Kategorien. Menschliche Vorhersager schnitten durchgängig in den Kategorien gut ab, was auf ihre Fähigkeit hinweist, nuancierte Situationen effektiver zu interpretieren.

#Herausforderungen angehen

Es gibt Herausforderungen, denen sowohl Modelle als auch menschliche Annotatoren gegenüberstehen, wenn es darum geht, rechtliche Ergebnisse vorherzusagen. Die Tatsache, dass Tribunalentscheidungen manchmal mehrere Schritte beinhalten können, macht es schwierig, den vollen Kontext zu verstehen. In einigen Fällen kann zunächst eine vorläufige Entscheidung getroffen werden, gefolgt von einem endgültigen Urteil, das von den ursprünglichen Erwartungen abweichen kann.

Darüber hinaus können Vorhersagen manchmal kompliziert werden durch Fälle, die sich mit Verfahrensfragen anstatt mit substantiellen Themen befassen. Sowohl Modelle als auch menschliche Annotatoren könnten diese Fälle falsch klassifizieren, was die Vorhersageaufgabe weiter erschwert.

Zusätzliche Herausforderungen ergeben sich aus der Natur der extrahierten Informationen. Die Vollständigkeit und Klarheit der Fakten und Ansprüche können die Vorhersagen stark beeinflussen. Wenn wichtige Details fehlen, kann dies sowohl für Modelle als auch für menschliche Experten zu ungenauen Ergebnissen führen.

#Zukünftige Überlegungen

Obwohl diese Arbeit eine solide Grundlage für die Vorhersage von Ergebnissen im UKET bietet, gibt es mehrere wichtige Überlegungen für zukünftige Forschungen. Es ist entscheidend, Wege zu finden, um die Genauigkeit juristischer Annotationen zu verbessern und neue Methoden zur Erfassung von Fakten und Ansprüchen zu erkunden. Dies wird helfen, einen realistischeren Ansatz zur Vorhersage juristischer Ergebnisse zu schaffen.

Ein weiterer Bereich, der verbessert werden kann, ist die Untersuchung variierender Ansätze für maschinelles Lernen und juristische Urteile. Da sich die rechtliche Landschaft weiterentwickelt, wird fortlaufende Forschung eine entscheidende Rolle dabei spielen, Modelle an neue Entwicklungen anzupassen.

Anstrengungen zur Demokratisierung des Zugangs zu rechtlichen Informationen und zur Verbesserung des Verständnisses des Arbeitsrechts werden ebenfalls ein Fokus zukünftiger Studien sein. Indem Forscher auf dieser Grundlage weiter aufbauen, können sie Personen, die sich in den Komplexitäten rechtlicher Streitigkeiten zurechtfinden, besser unterstützen.

#Fazit

Diese Arbeit hebt die Schnittstelle von Technologie und Recht hervor, um den Zugang zur Gerechtigkeit zu verbessern. Durch die Entwicklung des CLC-UKET-Datensatzes und die Untersuchung der Ergebnisvorhersage zeigen wir das Potenzial von maschinellem Lernen im juristischen Bereich. Die Ergebnisse dieser Forschung sind ein wichtiger Schritt zur Verbesserung des Verständnisses von Fall Ergebnissen im UK Employment Tribunal und ebnen den Weg für zukünftige Innovationen in der Rechtstechnologie. Der Datensatz wird anderen zur Verfügung gestellt, damit sie ihn in weiteren Forschungen verwenden können, um einen informierteren Ansatz für rechtliche Streitigkeiten zu fördern.