Melhorando a Recuperação de Casos Anteriores com um Novo Conjunto de Dados

Os sistemas jurídicos ao redor do mundo podem ser divididos em dois tipos principais: common law e civil law. Nos países de common law, como os Estados Unidos e a Inglaterra, os juízes se baseiam em casos anteriores, conhecidos como precedentes, para ajudar a decidir novos casos. Isso é baseado em um princípio chamado stare decisis, que significa que casos semelhantes devem ser tratados da mesma forma. Como existem muitos casos, é importante que os advogados consigam encontrar rapidamente casos antigos relevantes. Esse processo é chamado de Recuperação de Casos Anteriores (PCR).

No entanto, os sistemas existentes para encontrar esses casos passados têm limitações. Muitas vezes, eles usam documentos completos de casos como consultas, o que pode criar problemas. As consultas podem incluir raciocínios jurídicos que não deveriam estar disponíveis para casos não decididos. Isso pode levar a confusões e uma falta de entendimento claro dos fatos importantes e regras legais envolvidas.

Para resolver esses problemas, um novo conjunto de dados foi criado especificamente para o Tribunal Europeu dos Direitos Humanos (CEDH). Esse conjunto de dados separa claramente os fatos do caso dos argumentos jurídicos, oferecendo uma maneira melhor para os sistemas encontrarem casos anteriores relevantes. Usando esse conjunto de dados, os pesquisadores buscam melhorar a recuperação de casos anteriores, ajudando os profissionais do direito a construir seus argumentos de forma mais eficaz.

#Estruturas Legais

Globalmente, os sistemas jurídicos se encaixam em duas estruturas principais: common law e civil law. Nos sistemas de common law, as opiniões judiciais publicadas desempenham um papel significativo. Os sistemas de civil law focam mais nas leis escritas. A distinção entre esses dois sistemas nem sempre é clara, já que muitos países combinam elementos de ambos.

Nos países de common law, os profissionais jurídicos dependem bastante de precedentes para seus casos. Esse princípio garante que casos semelhantes recebam um tratamento semelhante. Ao olhar para decisões anteriores e citar casos relevantes, os advogados constroem argumentos fortes para seus casos atuais.

Com o aumento do número de casos, a necessidade de sistemas automatizados para recuperar casos passados relevantes cresce. Isso levou ao desenvolvimento de conjuntos de dados que ajudam na Recuperação de Casos Anteriores (PCR). Embora existam alguns conjuntos de dados para diferentes sistemas jurídicos, como os do Canadá e da Índia, eles têm limitações. Eles não refletem com precisão como os profissionais do direito realmente trabalham com casos passados.

#Conjuntos de Dados Atuais e Suas Limitações

Conjuntos de dados de PCR anteriores frequentemente usaram documentos completos de casos como consultas, mas removeram referências a casos anteriores. Isso significa que, embora as citações fossem ocultadas, os fatos e argumentos importantes permaneciam, dificultando a análise. Por causa disso, é fácil para os sistemas explorarem padrões de citação, o que não leva a um verdadeiro entendimento do caso.

No contexto de Common Law, conjuntos de dados notáveis incluem o COLIEE, que foca na jurisprudência canadense, e o IRLeD, que usa casos do Supremo Tribunal da Índia. Ambos esses conjuntos de dados criam critérios de relevância com base nas citações incluídas nos documentos. Porém, essa abordagem pode ser enganosa, pois não reflete como os profissionais do direito realmente avaliam os casos.

Em sistemas de civil law, abordagens diferentes foram adotadas. Conjuntos de dados como CAIL-SCM e LeCaRD foram desenvolvidos para o sistema jurídico chinês, contando com a contribuição de especialistas devido aos desafios relacionados às citações em casos de civil law. Como resultado, esses conjuntos de dados tendem a ser menores.

#A Necessidade de um Novo Conjunto de Dados

Dadas as limitações dos conjuntos de dados de PCR existentes, há uma necessidade clara de um novo conjunto de dados que permita uma melhor compreensão dos fatos e princípios jurídicos envolvidos nos casos. Ao separar os fatos dos casos dos argumentos, esse conjunto de dados visa melhorar a forma como os sistemas recuperam precedentes relevantes.

O novo conjunto de dados ECtHR-PCR foca no Tribunal Europeu dos Direitos Humanos, que trata de queixas sobre supostas violações de direitos. Esse conjunto de dados é especialmente eficaz porque as decisões do CEDH distinguem claramente entre os fatos de um caso e o Raciocínio Jurídico. Isso permite uma representação mais precisa de como esses casos se relacionam uns com os outros.

#Etapas de Construção do Conjunto de Dados

Criar o conjunto de dados ECtHR-PCR envolve várias etapas:

1. Coleta e Filtragem de Documentos: A coleta completa de documentos do CEDH foi reunida de um banco de dados público. Apenas documentos em inglês foram mantidos para este conjunto de dados.

2. Divisão dos Documentos: Cada julgamento foi dividido em seções, que incluíam os detalhes processuais, os fatos do caso, o raciocínio jurídico e o veredito final. Isso garantiu que os fatos e argumentos fossem claramente separados.

3. Extração de Citações: Citações a casos anteriores foram extraídas de cada documento. Essa etapa foi crucial para vincular o caso atual a casos anteriores relevantes.

4. Mapeamento de Citações para Documentos: As strings de citação extraídas foram combinadas de volta com os documentos corretos. Isso exigiu um manuseio cuidadoso dos formatos de citação para garantir precisão.

#Controle de Qualidade

Para garantir a qualidade do conjunto de dados, uma amostra aleatória de documentos foi avaliada. Isso envolveu verificar manualmente as citações e filtrar qualquer uma que não pudesse ser resolvida. A avaliação revelou que confiar apenas nas metadados de citação muitas vezes resultava em baixa recuperação. No entanto, uma combinação de diferentes métodos para extrair citações ajudou a melhorar a qualidade do conjunto de dados.

#Insights do Conjunto de Dados

O conjunto de dados final ECtHR-PCR contém mais de 15.000 julgamentos em inglês do CEDH. Os documentos são divididos em três conjuntos: treinamento, desenvolvimento e teste. Isso permite que os pesquisadores avaliem seus modelos e analisem seu desempenho.

Uma característica importante desse conjunto de dados é sua representação realista de como os profissionais do direito operam. Em vez de usar documentos completos de casos como consultas, o conjunto de dados foca apenas nos fatos de cada caso. Isso reflete a realidade de que os argumentos jurídicos muitas vezes não estão disponíveis até que um veredito seja alcançado.

#Metodologia para Recuperação

Para avaliar o desempenho de diferentes sistemas de recuperação, foram utilizados modelos lexicais e densos. Modelos lexicais, como o BM25, funcionam correspondendo termos de consulta com termos de documentos. Modelos densos, por outro lado, capturam relações semânticas transformando consultas e documentos em vetores densos.

O processo envolve o uso de uma arquitetura de codificador duplo que codifica separadamente a consulta e os documentos. Os documentos mais relevantes são recuperados com base em sua semelhança com o vetor da consulta.

Ao treinar esses modelos, as estratégias de amostragem negativa são vitais. Amostras negativas são documentos que não são relevantes para a consulta, mas são incluídas para ajudar o modelo a aprender a distinguir entre casos relevantes e irrelevantes. Diferentes estratégias foram testadas, incluindo amostragem aleatória e métodos que selecionam amostras negativas mais difíceis com base em sua proximidade com documentos relevantes.

#Avaliação de Desempenho

A eficácia dos modelos de recuperação foi medida usando métricas como Recall e Média Média de Precisão (MAP). Recall mede quantos dos documentos relevantes foram recuperados nos melhores resultados, enquanto o MAP considera a precisão dos resultados recuperados na lista.

Os achados iniciais mostraram que o modelo tradicional BM25 teve um bom desempenho, especialmente quando havia fortes conexões lexicais entre a consulta e os documentos. No entanto, modelos densos, que capturam relações semânticas mais profundas, mostraram potencial, especialmente em termos de desempenho em tamanhos de recuperação maiores.

#Desafios Temporais

Uma questão observada com modelos densos é a degradação de desempenho ao longo do tempo. À medida que novos casos são adicionados ao conjunto de dados, os modelos densos têm dificuldade em se adaptar ao cenário jurídico em evolução em comparação com modelos tradicionais como o BM25, que mostraram robustez em diferentes períodos.

Para lidar com essa mudança temporal, há uma necessidade de um treinamento contínuo dos modelos densos à medida que novos casos se tornam disponíveis. Isso garante que os modelos permaneçam eficazes em um ambiente em mudança e possam se adaptar a novos precedentes.

#Abordagem do Raciocínio Jurídico

O conjunto de dados também oferece uma oportunidade para explorar como o raciocínio jurídico impacta a recuperação de casos anteriores. O conjunto de dados ECtHR PCR permite que os pesquisadores analisem dois pontos de vista diferentes sobre o que torna um caso relevante: a visão de Halsbury foca nas seções de raciocínio, enquanto a visão de Goodhart enfatiza os aspectos factuais.

Os resultados sugerem que o raciocínio é frequentemente mais eficaz na determinação da relevância do que apenas olhar para os fatos. Isso reflete a natureza complexa da análise jurídica, onde entender o raciocínio por trás de uma decisão pode fornecer insights valiosos para casos atuais.

#Direções Futuras

Com o conjunto de dados ECtHR-PCR, os pesquisadores têm uma base para explorar novas abordagens na recuperação de informações jurídicas. Existem várias áreas potenciais para pesquisa futura:

• Melhorar os métodos de extração e mapeamento de citações para minimizar qualquer viés.
• Desenvolver sistemas de recuperação que considerem efetivamente a rede de citações e suas dinâmicas.
• Explorar novos modelos que possam se adaptar a mudanças nos padrões jurídicos e valores sociais ao longo do tempo.
• Realizar avaliações humanas para avaliar a utilidade prática dos sistemas de recuperação na prática jurídica.

#Conclusão

O conjunto de dados ECtHR-PCR representa um avanço importante no campo da Recuperação de Casos Anteriores. Ao separar claramente os fatos do caso dos argumentos jurídicos, ele possibilita uma melhor modelagem e recuperação de precedentes relevantes. À medida que o cenário jurídico continua a evoluir, os insights obtidos a partir desse conjunto de dados serão cruciais para ajudar os profissionais do direito a encontrar e aplicar eficientemente a jurisprudência relevante. A pesquisa contínua nessa área vai impulsionar melhorias nos sistemas de recuperação, ajudando na busca pela justiça em um mundo cada vez mais complexo.