Avanços na Análise de Documentos Jurídicos através da Estrutura HiCuLR

Rastreamento de Função Retórica (RRL) é uma tarefa importante na análise de documentos legais. Consiste em identificar a função de cada frase no documento, como se serve como introdução, apresenta fatos, fornece evidências ou oferece raciocínio. Essa rotulagem é essencial para várias atividades, incluindo resumir casos, buscar materiais jurídicos relevantes e analisar argumentos legais.

#A Necessidade de Abordagens Melhores

Tradicionalmente, muitos métodos para RRL trataram a tarefa como um problema simples de classificação, onde cada frase é rotulada sem considerar o contexto das frases ao redor. Inicialmente, esses métodos dependiam de recursos criados manualmente como parte de um processo de resumo. Algumas abordagens mais recentes utilizaram algoritmos conhecidos como Campos Aleatórios Condicionais com esses recursos. Métodos mais recentes se voltaram para técnicas de aprendizado profundo, onde os modelos aprendem a partir de um contexto maior em vez de apenas sentenças individuais.

Embora esses modelos tenham melhorado, eles costumam apresentar todos os exemplos de treinamento em uma ordem aleatória. Isso ignora os diferentes níveis de dificuldade encontrados em documentos legais. Alguns documentos seguem uma estrutura clara que pode ser identificada facilmente, enquanto outros têm estilos complexos que exigem uma análise mais profunda.

#Introduzindo uma Nova Estrutura de Aprendizagem

Para enfrentar esses desafios, propomos uma nova abordagem chamada HiCuLR, que significa Aprendizagem de Currículo Hierárquico para Rotulagem de Função Retórica. Essa estrutura organiza o processo de treinamento em dois níveis: um Currículo de Nível de Documento (DC) e um Currículo de Nível de Função Retórica (RC).

#Currículo de Nível de Documento (DC)

O Currículo de Nível de Documento organiza os documentos legais com base em sua dificuldade. Examinamos várias maneiras de medir essa dificuldade:

1. Mudanças Retóricas: Documentos que têm mudanças frequentes nas funções retóricas são provavelmente mais difíceis de entender. Calculamos a dificuldade com base em quantas vezes um documento muda de uma função para outra.

2. Desvio do Discurso de Especialistas: Enquanto não existe uma única estrutura acordada para documentos legais, especialistas sugerem certos padrões. Comparamos a estrutura de cada documento com este padrão fornecido por especialistas. Aqueles que desviam mais são pontuados como mais difíceis.

3. Desvio do Melhor Discurso Baseado em Dados: Em vez de depender apenas de padrões de especialistas, usamos dados de treinamento para identificar a estrutura mais comum entre os documentos. Pontuamos os desvios com base em quão de perto cada documento corresponde a essa melhor estrutura.

4. Discurso Probabilístico Baseado em Dados: Também usamos probabilidades derivadas dos dados para determinar a dificuldade. Isso considera a probabilidade de uma sequência de funções retóricas dentro de um documento.

Com base nessas pontuações, agrupamos os documentos em diferentes níveis de dificuldade. Começamos a treinar nosso modelo com os documentos mais fáceis, introduzindo gradualmente os mais desafiadores.

#Currículo de Nível de Função Retórica (RC)

O Currículo de Nível de Função Retórica foca nas funções específicas dentro dos documentos. Como a tarefa de RRL envolve documentos inteiros, expor um modelo sequencialmente a funções fáceis versus difíceis não é prático. Em vez disso, adotamos uma abordagem diferente baseada na semelhança.

1. Matriz de Confusão: Identificamos funções que o modelo confunde frequentemente e usamos essa informação para organizar o treinamento. Funções que são frequentemente confundidas são consideradas similares.

2. Similaridade de Embeddings: Usamos um modelo de linguagem para gerar representações de funções retóricas e suas definições, permitindo calcular similaridades. Isso nos ajuda a entender quais funções são similares além da confusão nas previsões.

Por meio desse método, cada frase é associada não apenas a um rótulo claro, mas também pode se relacionar a funções similares. Isso ajuda o modelo a aprender com seus erros de forma mais eficaz.

#Combinando os Dois Currículos

A estrutura HiCuLR combina esses dois currículos de forma aninhada. Isso significa que, durante cada etapa do currículo de função retórica, o currículo de nível de documento é aplicado primeiro. Começamos com documentos fáceis e gradualmente usamos materiais mais complexos, repetindo o processo iterativamente.

#Experimentando para Validar a Abordagem

Para avaliar a eficácia do HiCuLR, realizamos experimentos usando quatro conjuntos de dados que compreendem documentos legais de tribunais indianos. Cada conjunto de dados inclui um número diferente de funções retóricas e várias contagens de frases.

1. Construção do Conjunto de Dados: Contém julgamentos de vários tribunais com 13 funções retóricas.

2. Conjunto de Dados Paheli: Apresenta julgamentos do Supremo Tribunal e tem 7 funções.

3. Conjuntos de Dados M-CL e M-IT: Esses incluem casos relacionados a lei de concorrência e imposto de renda, respectivamente, cada um com 7 funções.

Comparamos o desempenho da nossa estrutura HiCuLR com linhas de base usando métodos tradicionais. Os resultados mostraram que todas as estratégias para organizar a dificuldade dos documentos levaram a melhores resultados do que as medições básicas.

#Insights sobre o Currículo de Nível de Documento

Das nossas análises, notamos que todos os métodos usados no Currículo de Nível de Documento resultaram em melhorias em comparação aos métodos básicos. O que usou probabilidades baseadas em dados superou consistentemente os outros. Parece que confiar em padrões observados nos dados é uma abordagem mais eficaz do que seguir estritamente as recomendações de especialistas.

Uma observação interessante foi que uma simples contagem de mudanças retóricas forneceu insights significativos sobre a dificuldade do documento, superando métodos mais complexos em vários casos.

#Insights sobre o Currículo de Nível de Função Retórica

Ambos os métodos usados no currículo de função retórica melhoraram os resultados em comparação ao desempenho básico. No entanto, nenhum método dominou claramente o outro. As diferenças no número de rótulos entre os conjuntos de dados pareciam impactar os resultados, com mais rótulos tornando mais difícil comparar efetivamente.

No geral, o currículo de função retórica mostrou que a ordenação das funções tem um efeito significativo no sucesso do modelo em prever com precisão.

#A Eficácia da Estrutura HiCuLR

Quando combinamos ambos os currículos na estrutura HiCuLR, os resultados melhoraram ainda mais. O método probabilístico baseado em dados do currículo de nível de documento, quando emparelhado com a abordagem da matriz de confusão do currículo de função retórica, se destacou como particularmente eficaz.

Experimentamos diferentes maneiras de implementar os currículos juntos. Quando os aplicamos sequencialmente, a mistura em uma forma aninhada funcionou melhor do que usá-los separadamente. Nossos achados sugerem que expor gradualmente os modelos às complexidades nas funções leva a um aprendizado geral melhor.

#Limitações e Direções Futuras

Embora o HiCuLR mostre promessas, ele tem algumas limitações. Atualmente, cada frase recebe apenas um rótulo, o que não captura totalmente as nuances que frases mais longas podem apresentar. Uma abordagem mais eficaz pode envolver tratar a tarefa como uma classificação multi-rótulo, onde cada frase pode ter múltiplas funções.

Além disso, nossos experimentos focaram em documentos legais da Índia. Esses documentos podem compartilhar uma linguagem e estrutura específicas que podem não se aplicar a documentos legais de outros países. Para tornar nossas descobertas amplamente aplicáveis, é importante expandir nossa pesquisa para incluir textos legais de diversos sistemas e regiões.

#Conclusão

Este trabalho destaca o potencial da aprendizagem por currículo na melhoria da Rotulagem de Função Retórica de textos legais. Estruturando o treinamento com base em dificuldade e similaridade, podemos equipar melhor os modelos para aprender a partir de discursos complexos. A estrutura HiCuLR proposta integra essas ideias, mostrando resultados promissores na fase de testes. Pesquisas futuras podem refinar esses métodos e ampliar suas aplicações no campo da análise de documentos legais.