Sfruttare la tecnologia per la giustizia nei conflitti di lavoro

Questo lavoro guarda a come la tecnologia può aiutare le persone a ottenere giustizia creando un dataset per prevedere gli esiti dei Casi nel Tribunale del Lavoro del Regno Unito (UKET). L'obiettivo è rendere più facile capire come potrebbero andare le cause, soprattutto per chi è coinvolto in dispute lavorative, come licenziamenti ingiusti, discriminazione o violazione di contratto. Lo studio affronta il difficile compito di rivedere manualmente molti casi utilizzando un programma informatico avanzato per raccogliere informazioni automaticamente. Il risultato è il dataset CLC-UKET, che contiene circa 19.000 casi e i loro dettagli.

#Creazione del Dataset CLC-UKET

Il dataset CLC-UKET include vari dettagli sui casi UKET. Ogni caso viene fornito con informazioni come identificatori unici, date di udienza e diversi codici che descrivono il tipo di disputa. Il dataset offre note dettagliate su ogni caso, come i fatti coinvolti, le Richieste fatte, riferimenti alle leggi, gli esiti dei casi e le ragioni di quegli esiti.

Una parte del dataset, CLC-UKET 1, contiene 19.090 sentenze dall'UKET ascoltate tra il 2011 e il 2023. Questo include appunti legali sugli elementi fondamentali di ogni caso. Un'altra parte, CLC-UKET 2, è progettata specificamente per aiutare a prevedere gli esiti e consiste di 14.582 casi con spiegazioni sui loro fatti e richieste.

Per confrontare quanto bene funzionano i diversi metodi di previsione degli esiti, sono state raccolte le previsioni fatte da persone. L’obiettivo è capire come si confrontano le previsioni delle macchine con quelle degli esseri umani.

#L'importanza del Tribunale del Lavoro del Regno Unito

Il Tribunale del Lavoro del Regno Unito gioca un ruolo fondamentale nella risoluzione delle dispute tra dipendenti e datori di lavoro. Si occupa di una vasta gamma di questioni, garantendo che i diritti lavorativi siano protetti. Se le persone sanno quale potrebbe essere l'esito del loro caso, possono prendere decisioni migliori su come risolvere le dispute, il che può portare a soluzioni più amichevoli.

Per avere successo in un caso, i ricorrenti (le persone che portano il caso) devono seguire alcune regole. Devono presentare le loro richieste in tempo, fornire le prove necessarie e evitare comportamenti inappropriati che potrebbero danneggiare la loro possibilità di un processo equo. Ci sono anche vari criteri che devono essere soddisfatti per diversi tipi di richieste. Ad esempio, in un caso di discriminazione per disabilità, il ricorrente deve dimostrare di essere un dipendente, di avere una disabilità e che si è verificata discriminazione.

Quando un caso viene portato in tribunale, sia il ricorrente che il datore di lavoro presentano le loro richieste e risposte tramite un modulo standard. I giudici del tribunale esaminano questi moduli e possono sia archiviare un caso per problemi procedurali sia decidere in base ai meriti del caso. Possono essere prese più decisioni nel tempo, ognuna registrata in documenti separati.

Ogni caso riceve uno o più codici che indicano la natura della disputa. Ci sono 54 codici di questo tipo nell'UKET, come "licenziamento ingiusto", che viene utilizzato quando qualcuno sostiene di essere stato licenziato ingiustamente dal proprio lavoro.

#Ricerca Correlata

Utilizzare metodi quantitativi per analizzare le sentenze legali non è una novità. Studi precedenti hanno esaminato vari fattori che possono influenzare gli esiti legali, come la demografia. Molti di questi studi richiedevano un notevole impegno manuale, in quanto non avevano accesso online alle sentenze.

Di recente, i progressi nel deep learning e la creazione di grandi dataset legali hanno stimolato la ricerca sulla previsione delle sentenze legali. Sono stati sviluppati vari modelli per analizzare gli esiti dei casi sia nei sistemi di diritto civile che di common law. Tuttavia, prevedere gli esiti nel sistema legale del Regno Unito, in particolare nel diritto del lavoro, non è stato esplorato in modo così approfondito.

#Come è stato creato il Dataset CLC-UKET

Per creare il dataset CLC-UKET, è stata esaminata un'ampia gamma di casi UKET. Inizialmente, i dati grezzi contenevano oltre 52.000 casi. Molti di questi casi erano molto brevi e riguardavano semplici decisioni procedurali, quindi solo i casi con informazioni più dettagliate sono stati inclusi nel dataset finale.

Dopo il filtraggio, sono stati selezionati 19.090 casi per il dataset CLC-UKET 1, con metadata raccolti riguardo a ogni caso. Le informazioni includono identificatori, date e codici di giurisdizione legati alle questioni specifiche presentate in tribunale.

Il passo successivo ha comportato l'uso di un programma di modello linguistico per annotare automaticamente questi documenti legali. Questo significa che dettagli importanti sono stati estratti dalle decisioni di caso, permettendo ai ricercatori di creare un dataset più completo.

Utilizzando questo dataset annotato, sono state fatte note dettagliate sugli aspetti essenziali di ogni caso, comprese:

1. Fatti del caso
2. Richieste fatte
3. Riferimenti alle leggi rilevanti
4. Esiti generali dei casi
5. Ragioni delle decisioni

Una volta sviluppato, il dataset è stato organizzato per aiutare nella previsione degli esiti dei casi.

#Previsione degli Esiti dei Casi

Una delle parti principali del dataset è progettata per prevedere gli esiti dei casi in base ai fatti e alle richieste presentate. In particolare, questo compito di previsione mira a classificare gli esiti in quattro etichette: "il ricorrente vince", "il ricorrente perde", "il ricorrente vince in parte" e "altro".

I modelli linguistici utilizzati in questo compito sono stati addestrati sul dataset per garantire che prevedessero accuratamente gli esiti basandosi solo sui fatti e sulle richieste, senza alcuna conoscenza precedente degli esiti effettivi. Le previsioni umane sono state usate come parametro di riferimento per valutare le prestazioni dei modelli.

#Sperimentazione con Diversi Modelli

Sono stati testati vari modelli utilizzando il dataset CLC-UKET. Modelli basati su Transformer, come BERT e T5, sono stati affinati specificamente per questo compito di previsione. Inoltre, sono stati testati anche modelli linguistici più grandi, tra cui GPT-3.5 e GPT-4, per vedere come si comportavano in diversi contesti.

Nella valutazione, è emerso che il modello T5 affinato ha mostrato le migliori prestazioni complessive. Tuttavia, c'era ancora un notevole divario tra le previsioni delle macchine e quelle fatte dagli esperti umani. I predittori umani erano più precisi in molti casi, mostrando la complessità di comprendere le dispute legali.

Lo studio ha anche dimostrato che modelli linguistici come GPT-4 hanno avuto buone prestazioni, specialmente quando ricevono esempi rilevanti in un formato few-shot. Questo significa che il modello potrebbe utilizzare esempi precedenti per migliorare le sue previsioni per nuovi casi.

#Previsioni Umane come Parametro di Riferimento

Per comprendere meglio le prestazioni del modello, sono stati chiesti a esperti legali di prevedere gli esiti basandosi sugli stessi fatti e richieste utilizzati per i modelli. Questo processo ha fornito un punto di riferimento per valutare quanto bene stavano funzionando i modelli.

Le previsioni umane sono state fatte da due esperti legali familiari con la legge del lavoro del Regno Unito. Hanno esaminato i fatti e le richieste e hanno fatto previsioni basate esclusivamente sulle informazioni fornite. Ogni esito previsto ha ricevuto controlli di coerenza, garantendo l'affidabilità dei risultati.

#Comprendere i Risultati

I risultati complessivi del compito di previsione hanno rivelato informazioni importanti. Tutti i modelli hanno performato meglio rispetto al semplice indovinare, indicando la loro efficacia. Tuttavia, il modello T5 affinato si è distinto come il migliore.

Nonostante le forti prestazioni dei modelli, le previsioni umane hanno superato i risultati delle macchine in diverse aree. Questa differenza mette in luce le sfide coinvolte nella previsione accurata degli esiti legali basandosi esclusivamente sui dati forniti.

I modelli hanno mostrato punti di forza e debolezze. Ad esempio, sebbene abbiano fatto bene nel prevedere quando i ricorrenti vincono o perdono, hanno avuto difficoltà con esiti più complessi. Questo indica che i compiti di previsione che coinvolgono più richieste o dettagli complicati sono difficili sia per gli umani che per le macchine.

I risultati hanno anche evidenziato variazioni nella performance dei modelli attraverso diverse categorie. In generale, i modelli avevano una buona capacita di richiamo ma una precisione inferiore nel prevedere alcune categorie. I predittori umani hanno costantemente performato bene in tutte le categorie, evidenziando la loro capacità di interpretare situazioni più sfumate in modo più efficace.

#Affrontare le Questioni

Ci sono sfide che sia i modelli che gli annotatori umani affrontano nel prevedere gli esiti legali. Il fatto che le decisioni del tribunale possano a volte coinvolgere più passaggi rende difficile comprendere il contesto completo. In alcune situazioni, una decisione preliminare può essere presa prima, seguita da un giudizio finale che può differire dalle aspettative iniziali.

Inoltre, le previsioni possono a volte essere complicate da casi che trattano questioni procedurali piuttosto che sostanziali. Sia i modelli che gli annotatori umani possono classificare in modo errato questi casi, complicando ulteriormente il compito di previsione.

Ulteriori sfide sorgono dalla natura delle informazioni estratte. La completezza e la chiarezza dei fatti e delle richieste possono influenzare notevolmente le previsioni. Se mancano dettagli chiave, può portare a risultati imprecisi sia per i modelli che per gli esperti umani.

#Considerazioni Futura

Sebbene questo lavoro presenti una base solida per prevedere gli esiti nell'UKET, ci sono diverse considerazioni importanti per la ricerca futura. Trovare modi per migliorare l'accuratezza delle annotazioni legali ed esplorare nuovi metodi per raccogliere fatti e richieste è essenziale. Questo aiuterà a creare un approccio più realistico alla previsione degli esiti legali.

Un'altra area di miglioramento è l'esplorazione di approcci variabili all'apprendimento automatico e alle sentenze legali. Con l'evoluzione del panorama legale, la ricerca continua giocherà un ruolo cruciale nell'adattare i modelli a nuovi sviluppi.

Gli sforzi per democratizzare l'accesso alle informazioni legali e migliorare la comprensione del diritto del lavoro saranno anche un focus per studi futuri. Continuando a costruire su questa base, i ricercatori possono meglio supportare le persone che navigano le complessità delle dispute legali.

#Conclusione

Questo lavoro mette in evidenza l'intersezione tra tecnologia e legge nel migliorare l'accesso alla giustizia. Sviluppando il dataset CLC-UKET e indagando sulla previsione degli esiti, mostriamo il potenziale dell'apprendimento automatico nel campo legale. I risultati di questa ricerca forniscono un passo critico verso il miglioramento della comprensione degli esiti dei casi nel Tribunale del Lavoro del Regno Unito, aprendo la strada a future innovazioni nella tecnologia legale. Il dataset sarà reso disponibile per altri da utilizzare in ulteriori ricerche, contribuendo a un approccio più informato alle dispute legali.