Affrontare il ritardo legale in Brasile con nuovi set di dati

Il sistema legale brasiliano sta affrontando una sfida significativa con un alto numero di casi in corso. Molti processi ci mettono molto tempo a risolversi e questo arretrato è una preoccupazione per il Consiglio Nazionale di Giustizia del Brasile. Per risolvere questo problema, il Consiglio ha fornito linee guida per la digitalizzazione dei documenti legali, aprendo la strada all'uso di tecniche automatizzate per gestire attività di routine nel diritto. L'Intelligenza Artificiale (AI) può aiutare a processare e analizzare rapidamente i Testi legali, ma c'è una carenza di dataset disponibili per addestrare queste tecnologie. In particolare, manca una quantità di testi legali etichettati che siano stati rivisti da esperti.

Per affrontare questo problema, sono stati creati nuovi dataset nel campo legale. Questi dataset sono progettati per assistere in compiti in cui comprendere la somiglianza tra documenti legali è fondamentale. L'accento è posto su quattro dataset derivati da testi legali, di cui due sono non etichettati e gli altri due etichettati usando un metodo specifico. Inoltre, è stato creato un dataset più piccolo con annotazioni di esperti per fornire un benchmark per valutare il processo di etichettatura.

#Il panorama legale in Brasile

Nel 2020, il Brasile aveva circa 75.3 milioni di casi legali in corso. L'enorme volume di casi nasce da una combinazione di fattori, tra cui una mancanza di forza lavoro sufficiente e un ampio quadro giuridico che comprende oltre 34.000 leggi. Inoltre, la grande popolazione brasiliana, di circa 213 milioni di persone, significa che molte persone possono interagire con il sistema legale.

Nonostante il numero schiacciante di casi, c'è stata una tendenza positiva nella produttività della giustizia brasiliana. Questo aumento è legato agli sforzi della giustizia per ridurre il numero di casi in corso. Tuttavia, al ritmo attuale, potrebbero volerci decenni per smaltire l'arretrato esistente.

Una delle iniziative per alleviare questo pesante fardello prevede la digitalizzazione dei processi legali. Questa transizione non solo consente una migliore gestione e analisi dei dati, ma permette anche l'automazione di alcune attività ripetitive che coinvolgono una grande quantità di documenti. Le tecniche di intelligenza artificiale vengono sempre più adottate per assistere in questi compiti, inclusa la catalogazione di documenti legali e la determinazione della somiglianza tra testi.

#Somiglianza testuale legale

Trovare somiglianze tra processi legali è cruciale. Casi precedenti possono fornire un riferimento per nuovi casi, il che è utile sia per i litiganti che per i giudici. Concentrandosi sui componenti testuali dei documenti legali, il processo diventa più efficiente. Comprendere la somiglianza semantica tra i testi aiuta a recuperare rapidamente casi passati rilevanti.

Anche se automatizzare compiti come trovare documenti simili può ridurre significativamente l'arretrato di casi, è importante avere dataset che facilitino l'addestramento dei modelli AI. Questi dataset richiedono spesso un'annotazione accurata per indicare quanto siano simili o differenti. Tuttavia, creare questi dataset annotati può essere complesso e richiede conoscenze esperte.

#Panoramica dei nuovi dataset

L'articolo presenta quattro dataset focalizzati sulla Somiglianza Testuale Semantica nel dominio legale, specificamente in portoghese. I primi due dataset sono dati grezzi provenienti dalla Corte Federale dei Conti e dal Supremo Tribunale di Giustizia. Questi dataset contengono informazioni vitali ma mancano delle etichette che indicano quanto siano simili i documenti. Il secondo paio di dataset è stato annotato usando un approccio sistematico progettato per valutare la somiglianza delle coppie di testi.

Per valutare la qualità delle etichette generate da questo metodo, è stato creato un dataset di verità di base più piccolo, popolato da annotazioni di esperti. Questo confronto consente un'analisi più profonda di quanto sia efficace il processo di etichettatura e quanto bene si allinei con le opinioni degli esperti.

#I dataset spiegati

I dataset iniziali includono voti e sentenze dalla Corte Federale dei Conti e dal Supremo Tribunale di Giustizia. Queste decisioni rappresentano gli esiti di casi trattati da importanti organi giuridici in Brasile. I dataset grezzi sono stati creati raccogliendo testi dai loro siti ufficiali e rimuovendo eventuali record duplicati o irrilevanti.

I dataset consistono in vari attributi come temi dei casi, processi e report. Un'analisi di questi attributi rivela informazioni sui precedenti legali.

Il secondo set di dataset, creato specificamente per il compito di somiglianza testuale semantica, segue un approccio sistematico di etichettatura. Il processo inizia formando coppie di documenti basati sulle loro somiglianze e assegnando punteggi che riflettono quella somiglianza. Vengono definite diverse categorie di somiglianza: i documenti provenienti dalla stessa giurisprudenza sono etichettati con punteggi alti, mentre quelli provenienti da ambiti legali differenti ricevono punteggi più bassi.

#Sfide nell'annotazione dei testi legali

Annotare testi legali per la somiglianza semantica presenta alcune sfide. È fondamentale avere esperti della materia che comprendano il vocabolario specializzato e il contesto dei documenti legali. Queste annotazioni richiedono considerazione e competenza, il che può rappresentare un importante ostacolo alla creazione di dataset etichettati.

Per migliorare la situazione, l'approccio euristico proposto riduce la dipendenza dagli annotatori umani. Automatizzando parti del processo di annotazione utilizzando metadati dai testi legali, la creazione di dataset etichettati può essere accelerata.

#Valutazione delle etichette e metodo euristico

Per valutare l'efficacia del metodo euristico, sono stati incaricati annotatori esperti di etichettare coppie di documenti per vedere come le loro valutazioni si confrontano con i punteggi generati dall'euristico. È stato utilizzato un questionario strutturato, permettendo agli annotatori di esprimere la loro fiducia nelle assegnazioni e di identificare le parti di testo che ritenevano più rilevanti per determinare la somiglianza.

I risultati hanno rivelato la complessità dell'etichettatura nel dominio. Anche tra esperti, c'erano significative variazioni nel modo in cui valutavano la somiglianza dei documenti. Questo mette in evidenza le sfide del compito di somiglianza testuale semantica nei contesti legali.

Nel confronto tra le etichette degli esperti e quelle euristiche, i risultati hanno indicato una correlazione moderata. Questo suggerisce che il metodo euristico è uno strumento prezioso per generare dataset etichettati, anche se potrebbe non replicare perfettamente le sottigliezze catturate dagli annotatori umani.

#Conclusione e direzioni future

Lo sviluppo di questi nuovi dataset rappresenta un passo significativo per affrontare l'urgenza di testi legali annotati in Brasile. Fornendo un approccio sistematico per generare etichette di somiglianza, questo lavoro consente un addestramento più efficiente dei modelli AI nel campo legale.

Nonostante le sfide identificate nel processo di etichettatura, i risultati suggeriscono che il metodo euristico può servire come una base affidabile per future ricerche. I prossimi passi prevedono l'uso di questi dataset per testare e affinare i metodi AI per il recupero e l'elaborazione di documenti legali.

I dataset generati sono ora disponibili per i ricercatori interessati al campo legale, offrendo un'opportunità per adattare e sviluppare nuove tecniche AI per la somiglianza testuale semantica nei testi legali. Migliorando le risorse disponibili per la ricerca nel dominio legale, questi sforzi contribuiscono a ridurre l'arretrato nella giustizia brasiliana e migliorare l'accesso alla giustizia.