Aproveitando a Tecnologia para a Justiça em Disputas Trabalhistas

Esse trabalho analisa como a tecnologia pode ajudar as pessoas a conseguirem justiça, criando um conjunto de dados para prever os resultados de Casos no Tribunal de Trabalho do Reino Unido (UKET). O objetivo é facilitar a compreensão sobre como os casos podem terminar, especialmente para quem está envolvido em disputas de trabalho, como demissão injusta, discriminação ou quebra de contrato. O estudo enfrenta a tarefa difícil de revisar manualmente muitos casos usando um programa de computador avançado para coletar informações automaticamente. O resultado é o conjunto de dados CLC-UKET, que tem cerca de 19.000 casos e seus detalhes.

#Criando o Conjunto de Dados CLC-UKET

O conjunto de dados CLC-UKET inclui várias informações sobre os casos do UKET. Cada caso vem com dados como identificadores únicos, datas de audiência e diferentes códigos que descrevem o tipo de disputa. O conjunto de dados oferece notas detalhadas sobre cada caso, como os fatos envolvidos, as Reclamações feitas, referências a leis, os resultados dos casos e as razões para esses resultados.

Uma parte do conjunto de dados, CLC-UKET 1, contém 19.090 julgamentos do UKET ouvidos entre 2011 e 2023. Isso inclui notas legais sobre os elementos principais de cada caso. Outra parte, CLC-UKET 2, foi projetada especificamente para ajudar a prever resultados e consiste em 14.582 casos com explicações sobre seus fatos e reclamações.

Para comparar a eficácia de diferentes métodos de Previsão de resultados, foram coletadas previsões feitas por pessoas. O objetivo é entender como as previsões de máquina se comparam com as previsões humanas.

#A Importância do Tribunal de Trabalho do Reino Unido

O Tribunal de Trabalho do Reino Unido desempenha um papel vital na resolução de disputas entre empregados e empregadores. Ele lida com uma ampla gama de questões, garantindo que os direitos trabalhistas sejam protegidos. Se as pessoas souberem o resultado provável de seu caso, podem tomar decisões melhores sobre como resolver disputas, o que pode levar a soluções mais amigáveis.

Para ter sucesso em um caso, os reclamantes (as pessoas que estão levando o caso) precisam seguir certas regras. Eles devem apresentar suas reclamações a tempo, fornecer as evidências necessárias e evitar comportamentos inadequados que possam prejudicar suas chances de um julgamento justo. Também há vários critérios que precisam ser atendidos para diferentes tipos de reclamações. Por exemplo, em um caso de discriminação por deficiência, o reclamante precisa provar que era um empregado, que tem uma deficiência e que ocorreu discriminação.

Quando um caso é levado ao tribunal, tanto o reclamante quanto o empregador apresentam suas reclamações e respostas por meio de um formulário padrão. Os juízes do tribunal revisam esses formulários e podem rejeitar um caso por questões processuais ou decidir sobre os méritos do caso. Várias decisões podem ser tomadas ao longo do tempo, cada uma registrada em documentos separados.

A cada caso é atribuído um ou mais códigos que indicam a natureza da disputa. Existem 54 códigos desse tipo no UKET, como "demissão injusta", que é usado quando alguém alega que foi demitido de forma errada.

#Pesquisas Relacionadas

Usar métodos quantitativos para analisar julgamentos legais não é novidade. Estudos anteriores examinaram vários fatores que podem influenciar os resultados legais, como demografia. Muitos desses estudos exigiram um esforço manual significativo, pois não tinham acesso online aos julgamentos de casos.

Recentemente, avanços em aprendizado profundo e a criação de grandes Conjuntos de dados legais estimularam a pesquisa sobre previsão de julgamentos legais. Vários modelos foram desenvolvidos para analisar resultados de casos em sistemas de direito civil e comum. No entanto, prever resultados no sistema legal do Reino Unido, especialmente em direito trabalhista, não foi tão explorado.

#Como o Conjunto de Dados CLC-UKET Foi Criado

Para criar o conjunto de dados CLC-UKET, um grande número de casos do UKET foi revisado. Inicialmente, os dados brutos continham mais de 52.000 casos. Muitos desses casos eram muito breves e envolviam decisões processuais simples, então apenas os casos com informações mais detalhadas foram incluídos no conjunto de dados final.

Após a filtragem, 19.090 casos foram selecionados para o conjunto de dados CLC-UKET 1, com metadados coletados sobre cada caso. As informações incluem identificadores, datas e códigos de jurisdição ligados às questões específicas apresentadas em tribunal.

A próxima etapa envolveu usar um programa de modelo de linguagem para anotar automaticamente esses documentos legais. Isso significa que detalhes importantes foram extraídos das decisões dos casos, permitindo que os pesquisadores criassem um conjunto de dados mais abrangente.

Usando esse conjunto de dados anotado, notas detalhadas foram feitas sobre os aspectos essenciais de cada caso, incluindo:

1. Fatos do caso
2. Reclamações feitas
3. Referências a leis relevantes
4. Resultados gerais dos casos
5. Razões para as decisões

Uma vez desenvolvido o conjunto de dados, ele foi organizado para ajudar na previsão dos resultados dos casos.

#Prevendo Resultados de Casos

Uma das principais partes do conjunto de dados é projetada para prever resultados de casos com base nos fatos e reclamações apresentados. Especificamente, essa tarefa de previsão visa categorizar os resultados em quatro rótulos: "reclamante ganha", "reclamante perde", "reclamante ganha parcialmente" e "outro".

Os modelos de linguagem usados nessa tarefa foram treinados no conjunto de dados para garantir que eles previssem com precisão os resultados com base apenas nos fatos e reclamações, sem nenhum conhecimento prévio dos resultados reais. Previsões humanas foram usadas como referência para avaliar o desempenho dos modelos.

#Experimentando com Diferentes Modelos

Vários modelos foram testados usando o conjunto de dados CLC-UKET. Modelos baseados em transformadores, como BERT e T5, foram ajustados especificamente para essa tarefa de previsão. Além disso, modelos maiores de linguagem, incluindo GPT-3.5 e GPT-4, também foram testados para ver como eles se saíam em diferentes configurações.

Na avaliação, foi constatado que o modelo T5 ajustado teve o melhor desempenho geral. No entanto, ainda havia uma diferença notável entre as previsões de máquina e as feitas por especialistas humanos. Preditores humanos foram mais precisos em muitos casos, mostrando a complexidade de entender disputas legais.

O estudo também encontrou que modelos de linguagem como o GPT-4 se saíram bem, especialmente quando receberam exemplos relevantes em um formato de few-shot. Isso significa que o modelo poderia usar exemplos anteriores para aprimorar suas previsões para novos casos.

#Previsões Humanas como Referência

Para entender melhor o desempenho do modelo, especialistas legais foram convidados a prever resultados com base nos mesmos fatos e reclamações usados para os modelos. Esse processo forneceu um ponto de referência para avaliar quão bem os modelos estavam se saindo.

As previsões humanas foram feitas por dois especialistas legais familiarizados com a legislação trabalhista do Reino Unido. Eles revisaram os fatos e reclamações e fizeram previsões com base apenas nas informações fornecidas. Cada resultado previsto recebeu verificações de consistência, garantindo a confiabilidade dos resultados.

#Entendendo os Resultados

Os resultados gerais da tarefa de previsão revelaram insights importantes. Todos os modelos se saíram melhor do que adivinhação aleatória, indicando sua eficácia. No entanto, o modelo T5 ajustado se destacou como o melhor desempenho.

Apesar do forte desempenho dos modelos, as previsões humanas superaram os resultados das máquinas em várias áreas. Essa diferença destaca os desafios envolvidos em prever com precisão os resultados legais com base apenas nos dados fornecidos.

Os modelos mostraram pontos fortes e fracos. Por exemplo, enquanto eles se saíram bem prevendo quando reclamantes ganharam ou perderam, tiveram dificuldades com resultados mais complexos. Isso indica que tarefas de previsão envolvendo múltiplas reclamações ou detalhes complicados são difíceis tanto para humanos quanto para máquinas.

Os resultados também destacaram variações no desempenho do modelo entre diferentes categorias. Geralmente, os modelos tiveram alta recall, mas baixa precisão ao prever certas categorias. Preditores humanos se saíram consistentemente bem em todas as categorias, indicando sua capacidade de interpretar situações mais sutis de forma mais eficaz.

#Abordando os Problemas

Existem desafios que tanto modelos quanto anotadores humanos enfrentam ao prever resultados legais. O fato de que as decisões do tribunal podem envolver múltiplas etapas às vezes torna difícil entender o contexto completo. Em algumas situações, uma decisão preliminar pode ser tomada primeiro, seguida por um julgamento final que pode diferir das expectativas iniciais.

Além disso, previsões podem ser complicadas por casos que tratam de questões processuais em vez de questões substanciais. Tanto modelos quanto anotadores humanos podem classificar mal esses casos, complicando ainda mais a tarefa de previsão.

Desafios adicionais surgem da natureza das informações extraídas. A completude e clareza dos fatos e reclamações podem influenciar fortemente as previsões. Se detalhes importantes estiverem ausentes, isso pode levar a resultados imprecisos tanto para os modelos quanto para os especialistas humanos.

#Considerações Futuras

Embora esse trabalho apresente uma base sólida para prever resultados no UKET, há várias considerações importantes para pesquisas futuras. Encontrar maneiras de melhorar a precisão das anotações legais e explorar novos métodos de coleta de fatos e reclamações é essencial. Isso ajudará a criar uma abordagem mais realista para prever resultados legais.

Outra área para melhoria é a exploração de diferentes abordagens para aprendizado de máquina e julgamentos legais. À medida que o cenário legal evolui, a pesquisa contínua desempenhará um papel crucial na adaptação dos modelos a novos desenvolvimentos.

Esforços para democratizar o acesso à informação legal e melhorar a compreensão do direito trabalhista também serão um foco para estudos futuros. Ao continuar a construir sobre essa base, os pesquisadores podem apoiar melhor indivíduos que navegam nas complexidades das disputas legais.

#Conclusão

Esse trabalho destaca a interseção entre tecnologia e direito para melhorar o acesso à justiça. Ao desenvolver o conjunto de dados CLC-UKET e investigar a previsão de resultados, mostramos o potencial do aprendizado de máquina no campo jurídico. As descobertas dessa pesquisa fornecem um passo crítico para melhorar a compreensão dos resultados de casos no Tribunal de Trabalho do Reino Unido, abrindo caminho para inovações futuras em tecnologia jurídica. O conjunto de dados será disponibilizado para outros usarem em pesquisas futuras, contribuindo para uma abordagem mais informada sobre disputas legais.