Exploiter la technologie pour la justice dans les conflits de travail

Ce travail examine comment la technologie peut aider les gens à obtenir justice en créant un ensemble de données pour prédire les résultats des affaires devant le Tribunal du Travail du Royaume-Uni (UKET). L'objectif est de faciliter la compréhension de la façon dont les affaires peuvent se dérouler, surtout pour ceux qui sont concernés par des litiges au travail, comme le licenciement injustifié, la discrimination ou la violation de contrat. L'étude s'attaque à la tâche difficile de révision manuelle de nombreux Cas en utilisant un programme informatique avancé pour collecter automatiquement des informations. Le résultat est l'ensemble de données CLC-UKET, qui compte environ 19 000 affaires et leurs détails.

#Création de l'ensemble de données CLC-UKET

L'ensemble de données CLC-UKET comprend divers détails sur les cas UKET. Chaque cas contient des informations telles que des identifiants uniques, des dates d'audience et différents codes décrivant le type de litige. L'ensemble de données offre des notes détaillées sur chaque affaire, comme les faits impliqués, les Réclamations formulées, des références aux lois, les résultats des affaires, et les raisons de ces résultats.

Une partie de l'ensemble de données, CLC-UKET 1, contient 19 090 jugements du UKET entendus entre 2011 et 2023. Cela inclut des notes juridiques sur les éléments clés de chaque affaire. Une autre partie, CLC-UKET 2, est spécifiquement conçue pour aider à prédire les résultats et consiste en 14 582 cas avec des explications sur leurs faits et réclamations.

Pour comparer l'efficacité des différentes méthodes de prédiction des résultats, des Prédictions faites par des gens ont été collectées. L'objectif est de comprendre comment les prédictions des machines se comparent aux prédictions humaines.

#L'importance du Tribunal du Travail du Royaume-Uni

Le Tribunal du Travail du Royaume-Uni joue un rôle essentiel dans la résolution des litiges entre employés et employeurs. Il traite une large gamme de problèmes, s'assurant que les droits des travailleurs sont protégés. Si les individus connaissent le résultat probable de leur affaire, ils peuvent prendre de meilleures décisions pour résoudre les litiges, ce qui peut mener à des solutions plus amicables.

Pour réussir une affaire, les plaignants (les personnes qui intentent l'action) doivent suivre certaines règles. Ils doivent déposer leurs réclamations à temps, fournir les preuves nécessaires et éviter tout comportement inapproprié qui pourrait nuire à leur chance d'un procès équitable. Il existe aussi divers critères que les types de réclamations doivent remplir. Par exemple, dans une affaire de discrimination liée au handicap, le plaignant doit prouver qu'il était employé, qu'il a un handicap et qu'il y a eu discrimination.

Lorsqu'une affaire est portée devant le tribunal, à la fois le plaignant et l'employeur fournissent leurs réclamations et réponses via un formulaire standard. Les juges du tribunal examinent ces formulaires et peuvent soit rejeter une affaire pour des problèmes de procédure, soit décider sur le fond de l'affaire. Plusieurs décisions peuvent être prises au fil du temps, chacune enregistrée dans des documents distincts.

Chaque cas se voit attribuer un ou plusieurs codes qui indiquent la nature du litige. Il y a 54 de ces codes dans le UKET, comme "licenciement injustifié", utilisé lorsque quelqu'un prétend avoir été licencié à tort de son emploi.

#Recherche connexe

Utiliser des méthodes quantitatives pour analyser les jugements juridiques n'est pas nouveau. Des études antérieures ont examiné divers facteurs pouvant influencer les résultats juridiques, comme la démographie. Beaucoup de ces études nécessitaient un effort manuel significatif, car elles n'avaient pas accès en ligne aux jugements des affaires.

Récemment, les avancées en apprentissage profond et la création de grands ensembles de données juridiques ont stimulé la recherche sur la prédiction des jugements juridiques. Divers modèles ont été développés pour analyser les résultats des affaires tant dans les systèmes de droit civil que de droit commun. Cependant, prédire les résultats dans le système juridique britannique, en particulier en matière de droit du travail, n'a pas encore été exploré en profondeur.

#Comment l'ensemble de données CLC-UKET a été créé

Pour créer l'ensemble de données CLC-UKET, un grand nombre de cas UKET ont été examinés. Au départ, les données brutes contenaient plus de 52 000 cas. Beaucoup de ces cas étaient très brefs et concernaient des décisions procédurales simples, donc seuls les cas avec des informations plus détaillées ont été inclus dans l'ensemble final.

Après filtrage, 19 090 cas ont été sélectionnés pour l'ensemble de données CLC-UKET 1, avec des métadonnées collectées concernant chaque cas. Les informations comprennent des identifiants, des dates, et des codes de juridiction liés aux problèmes spécifiques présentés au tribunal.

L'étape suivante a consisté à utiliser un modèle de langage pour annoter automatiquement ces documents juridiques. Cela signifie que des détails importants ont été extraits des décisions de cas, permettant aux chercheurs de créer un ensemble de données plus complet.

À partir de cet ensemble de données annoté, des notes détaillées ont été élaborées sur les aspects essentiels de chaque cas, notamment :

1. Faits de l'affaire
2. Réclamations faites
3. Références aux lois pertinentes
4. Résultats généraux des affaires
5. Raisons des décisions

Une fois l'ensemble de données développé, il a été organisé pour aider à prédire les résultats des affaires.

#Prédiction des résultats des affaires

Une des parties principales de l'ensemble de données est conçue pour prédire les résultats des affaires en fonction des faits et des réclamations présentées. Plus précisément, cette tâche de prédiction vise à catégoriser les résultats en quatre étiquettes : "plaignant gagne", "plaignant perd", "plaignant gagne en partie", et "autre".

Les modèles de langue utilisés dans cette tâche ont été formés sur l'ensemble de données pour s'assurer qu'ils prédisent avec précision les résultats uniquement en fonction des faits et des réclamations, sans connaissance préalable des résultats réels. Les prédictions humaines ont été utilisées comme référence pour juger de la performance des modèles.

#Expérimentation avec différents modèles

Une variété de modèles a été testée en utilisant l'ensemble de données CLC-UKET. Des modèles basés sur des transformateurs, tels que BERT et T5, ont été ajustés spécifiquement pour cette tâche de prédiction. De plus, des modèles de langue plus grands, comme GPT-3.5 et GPT-4, ont également été testés pour voir comment ils se comportaient dans différents contextes.

Dans l'évaluation, il a été constaté que le modèle T5 finement ajusté était le meilleur en général. Cependant, il restait toujours un écart notable entre les prédictions des machines et celles des experts humains. Les prédictions humaines étaient plus précises dans de nombreux cas, mettant en lumière la complexité de la compréhension des litiges juridiques.

L'étude a également révélé que des modèles de langue comme GPT-4 fonctionnaient bien, surtout lorsqu'ils recevaient des exemples pertinents sous forme de quelques exemples. Cela signifie que le modèle pouvait utiliser des exemples précédents pour améliorer ses prédictions pour de nouveaux cas.

#Prédictions humaines comme référence

Pour mieux comprendre la performance des modèles, des experts juridiques ont été invités à prédire les résultats en se basant sur les mêmes faits et réclamations utilisés pour les modèles. Ce processus a fourni un point de référence pour évaluer la performance des modèles.

Les prédictions humaines ont été faites par deux experts juridiques familiers avec le droit du travail britannique. Ils ont examiné les faits et les réclamations et ont formulé leurs prédictions uniquement sur la base des informations fournies. Chaque résultat prédit a reçu des vérifications de cohérence, garantissant la fiabilité des résultats.

#Comprendre les résultats

Les résultats globaux de la tâche de prédiction ont révélé des informations importantes. Tous les modèles ont mieux performé que le simple hasard, ce qui indique leur efficacité. Cependant, le modèle T5 finement ajusté a été le meilleur performer.

Malgré de bonnes performances des modèles, les prédictions humaines ont surpassé les résultats des machines dans plusieurs domaines. Cette différence souligne les défis de prédire avec précision les résultats juridiques uniquement sur la base des données fournies.

Les modèles ont montré des forces et des faiblesses. Par exemple, bien qu'ils aient bien réussi à prédire quand les plaignants gagnaient ou perdaient, ils ont eu du mal avec des résultats plus complexes. Cela indique que les tâches de prédiction impliquant plusieurs réclamations ou des détails compliqués sont difficiles tant pour les humains que pour les machines.

Les résultats ont également mis en lumière des variations dans la performance des modèles à travers différentes catégories. En général, les modèles avaient une bonne capacité de rappel mais une précision plus faible lors de la prédiction de certaines catégories. Les prédictions humaines ont constamment bien performé à travers les catégories, soulignant leur capacité à interpréter des situations nuancées plus efficacement.

#Aborder les enjeux

Il y a des défis auxquels les modèles et les annotateurs humains sont confrontés lors de la prédiction des résultats juridiques. Le fait que les décisions des tribunaux peuvent parfois impliquer plusieurs étapes rend difficile la compréhension du contexte complet. Dans certains cas, une décision préliminaire peut d'abord être prise, suivie d'un jugement final qui peut différer des attentes initiales.

De plus, les prédictions peuvent parfois être compliquées par des affaires qui traitent de questions procédurales plutôt que de questions de fond. Tant les modèles que les annotateurs humains peuvent mal classer ces affaires, compliquant encore plus la tâche de prédiction.

D'autres défis proviennent de la nature des informations extraites. L'exhaustivité et la clarté des faits et des réclamations peuvent fortement influencer les prédictions. Si des détails clés manquent, cela peut conduire à des résultats inexactes pour les modèles et les experts humains.

#Considérations futures

Bien que ce travail présente une base solide pour prédire les résultats dans le UKET, il y a plusieurs considérations importantes pour la recherche future. Trouver des moyens d'améliorer l'exactitude des annotations juridiques et explorer de nouvelles méthodes de collecte de faits et de réclamations est essentiel. Cela aidera à créer une approche plus réaliste pour prédire les résultats juridiques.

Un autre domaine d'amélioration est l'exploration de différentes approches en apprentissage machine et jugements juridiques. À mesure que le paysage juridique évolue, la recherche continue jouera un rôle crucial pour adapter les modèles aux nouveaux développements.

Les efforts pour démocratiser l'accès à l'information juridique et améliorer la compréhension du droit du travail seront également un axe de recherche future. En continuant à bâtir sur cette base, les chercheurs peuvent mieux soutenir les individus qui naviguent dans les complexités des litiges juridiques.

#Conclusion

Ce travail met en lumière l'intersection entre la technologie et le droit pour améliorer l'accès à la justice. En développant l'ensemble de données CLC-UKET et en enquêtant sur la prédiction des résultats, nous montrons le potentiel de l'apprentissage machine dans le domaine juridique. Les résultats de cette recherche fournissent une étape essentielle vers l'amélioration de la compréhension des résultats des affaires devant le Tribunal du Travail du Royaume-Uni, ouvrant la voie à de futures innovations dans la technologie juridique. L'ensemble de données sera mis à disposition pour d'autres recherches, contribuant à une approche plus informée des litiges juridiques.