O Papel da IA na Análise de Documentos Jurídicos

O uso de inteligência artificial (IA) no campo jurídico tá crescendo. Um dos últimos desenvolvimentos é o uso de um tipo de IA chamado modelo de transformador pré-treinado generativo (GPT) para tarefas como entender e rotular textos legais. Isso envolve analisar trechos curtos de texto, geralmente de uma a algumas frases, tirados de vários tipos de Documentos Legais.

Nos últimos anos, muito se falou sobre como a IA pode ajudar no trabalho jurídico. Algumas vantagens potenciais incluem agilizar a redação de documentos legais e facilitar resumos. No entanto, até agora, não houve uma análise detalhada de quão bem esses modelos de IA podem entender textos legais a nível de frase quando não foram especificamente treinados pra isso (aprendizado zero-shot).

Este artigo traz uma pesquisa que investiga quão efetivamente um modelo GPT pode rotular e categorizar trechos curtos de textos de documentos legais usando apenas definições breves do que cada categoria significa. Essa habilidade pode ser bem útil em várias aplicações, como revisar contratos ou fazer pesquisas jurídicas.

#Avaliando o Modelo GPT

O foco do estudo foi o GPT-3.5, uma versão do modelo GPT. Os pesquisadores analisaram quão bem ele podia se sair em três áreas principais: revisar contratos, examinar leis e regulamentos, e analisar jurisprudência.

A pesquisa comparou o Desempenho do GPT-3.5 com métodos tradicionais de aprendizado de máquina, como florestas aleatórias e modelos ajustados como o RoBERTa. A ideia era ver como o modelo GPT conseguia classificar trechos curtos de texto em categorias com base em definições simples de uma frase.

#Trabalhos Relacionados

Trabalhos anteriores mostraram que Modelos GPT podem ser eficazes em várias tarefas legais. Por exemplo, estudos passados usaram modelos GPT para analisar textos legais e até melhorar o desempenho em tarefas como o Exame da OAB. Outras aplicações incluíram a avaliação de marcas e a compreensão de decisões da Suprema Corte dos EUA.

No contexto de documentos legais, os pesquisadores também procuraram maneiras de identificar diferentes partes desses textos com base em seus propósitos ou funções. Isso inclui rotular frases ou parágrafos em decisões judiciais, contratos e textos legislativos. Já foi feito um trabalho significativo sobre a compreensão desses textos em diferentes países, destacando a importância desse tipo de pesquisa.

#Conjuntos de Dados Utilizados

O estudo utilizou três conjuntos de dados diferentes, cada um contendo vários tipos de documentos legais que foram anotados manualmente por especialistas. Esses conjuntos de dados foram cuidadosamente filtrados e processados para atender às necessidades do estudo.

1. Decisões da Junta de Recursos dos Veteranos dos EUA: Esse conjunto inclui decisões sobre recursos de veteranos em relação a reivindicações de aposentadoria. Os pesquisadores examinaram manualmente 50 decisões e extraíram frases relevantes, rotulando-as de acordo com seus papéis nas decisões.

2. Conjunto de Dados de Compreensão de Contratos Atticus (CUAD): Essa é uma coleção de 510 contratos legais comerciais, cada um rotulado por advogados profissionais. O foco estava em 12 tipos comuns de cláusulas legais importantes em revisões de contratos.

3. Regulamentações de Preparação para Emergências de Saúde Pública: Nesse conjunto de dados, os pesquisadores codificaram várias leis e regulamentos relacionados à preparação para emergências de saúde pública. Analisaram como esses textos se relacionavam com estruturas existentes para saúde pública.

#Metodologia

Os pesquisadores usaram um método chamado medida de similaridade de Jaccard para estabelecer uma linha de base para o desempenho. Compararam a rotulação dos trechos de texto pelo modelo GPT com as definições de tipo fornecidas e atribuíram rótulos baseados em qual tinha a correspondência mais próxima de palavras.

Para os testes, lotes de trechos curtos de texto foram enviados para o modelo GPT usando um prompt estruturado. O objetivo era maximizar a custo-benefício enquanto garantiam que o modelo pudesse lidar com o maior número possível de trechos de uma vez.

Vários parâmetros foram configurados pra controlar como o modelo GPT processava os dados, como limitar a aleatoriedade nas respostas e gerenciar o comprimento da saída. Os pesquisadores se certificaram de considerar a melhor configuração para obter resultados precisos.

#Resultados e Discussão

Os experimentos revelaram resultados promissores. O modelo GPT teve um desempenho significativamente melhor do que a linha de base de similaridade de Jaccard em todas as três tarefas. Notavelmente, seu desempenho no conjunto de dados CUAD foi particularmente forte, demonstrando que ele podia lidar efetivamente com uma linguagem e categorias jurídicas diversas.

No entanto, ainda houve desafios. Os resultados mostraram que o modelo GPT enfrentou dificuldades com categorias específicas, particularmente no conjunto de dados da Junta de Recursos dos Veteranos e nas regulamentações de saúde pública. Classificações erradas foram comuns em áreas onde as definições não estavam claras ou onde o texto exigia uma compreensão mais sutil além do que uma definição breve poderia fornecer.

Por exemplo, dentro do conjunto de dados CUAD, certos tipos de cláusulas se mostraram desafiadores para o modelo distinguir umas das outras. Da mesma forma, nas decisões da BVA, o modelo teve dificuldade em classificar raciocínios versus evidências, mostrando que algumas categorias precisavam de uma compreensão mais fina do contexto.

Apesar desses desafios, as descobertas foram encorajadoras. O modelo GPT, embora não perfeito, apresentou capacidades que podem ajudar os profissionais do direito em seu trabalho. Ele pode auxiliar em tarefas que envolvem um alto volume de análise de texto, melhorando a eficiência e diminuindo custos.

#Limitações e Trabalhos Futuros

Enquanto os resultados deste estudo são promissores, algumas limitações existem. O desempenho do modelo GPT não é impecável; ele ainda fica atrás dos modelos de aprendizado de máquina supervisionado treinados em conjuntos de dados maiores. Para cenários que exigem alta precisão, a revisão humana dos rótulos gerados pela IA poderá ser necessária para garantir a qualidade.

O desempenho variou significativamente entre os diferentes conjuntos de dados. Algumas áreas, como os dados do CUAD, mostraram uma promessa substancial, enquanto outras, como o conjunto de dados PHASYS, apresentaram mais dificuldades. Essa variação destaca a importância dos dados utilizados e a clareza das definições fornecidas ao modelo.

No futuro, os pesquisadores esperam aprimorar o modelo GPT com base no feedback de especialistas humanos. Essa abordagem pode resultar em um conjunto de dados de alta qualidade adequado para treinar mais o modelo de IA. Combinar IA com insights humanos poderia criar uma ferramenta mais eficaz para análise jurídica.

#Conclusão

Utilizar IA, especificamente o modelo GPT, para entender documentos legais apresenta possibilidades emocionantes. Este estudo mostra que a IA pode classificar e rotular trechos de texto legal de forma eficaz. Apesar das suas limitações atuais, o modelo GPT tem o potencial de ajudar profissionais do direito lidando com grandes volumes de texto de maneira rápida e precisa.

À medida que a tecnologia avança, com mais pesquisas e contribuições de especialistas jurídicos, a IA pode desempenhar um papel ainda maior no campo legal, tornando o trabalho mais eficiente enquanto permite que os profissionais se concentrem nos aspectos mais complexos de suas funções. Os achados deste estudo abrem caminhos para mais exploração e aplicações práticas de IA no direito.