Apresentando o InternLM-Law: Um Modelo para Perguntas Jurídicas

Grandes modelos de linguagem mostraram que conseguem fazer várias coisas, mas têm dificuldade com questões legais porque a lei é complexa e precisa de um conhecimento especial. Este artigo apresenta o InternLM-Law, um modelo criado para ajudar em várias perguntas legais relacionadas às leis chinesas, desde questões legais básicas até problemas legais complicados da vida real.

#Construindo um Dataset

Para criar esse modelo, juntamos um grande dataset com mais de um milhão de consultas legais. Desenvolvemos um sistema para filtrar e processar esses dados e garantir que cobrissem uma ampla gama de tópicos e que fossem de alta qualidade. Nosso Treinamento usou um novo método em duas etapas: primeiro, treinamos o modelo com conteúdo Legal e geral para dar um conhecimento amplo, depois focamos em dados legais de qualidade para ajudar a produzir melhores respostas.

O InternLM-Law mostrou que conseguia se sair melhor que os modelos líderes, como o GPT-4, em várias tarefas legais. Temos planos de compartilhar o InternLM-Law e nosso dataset para ajudar outros a pesquisar como aplicar modelos na lei.

#Importância dos Grandes Modelos de Linguagem

Grandes modelos de linguagem estão se tornando uma área de estudo importante em Processamento de Linguagem Natural, atraindo atenção pela sua capacidade de se aplicar a diferentes campos. Alguns pesquisadores estão tentando usar esses modelos em áreas como medicina, programação e matemática. Eles podem ajudar com problemas específicos e responder em linguagem natural. Na parte legal, estudos anteriores trabalharam na criação de modelos focados em tarefas específicas, mas esses muitas vezes só ofereciam conselhos legais limitados e dependiam de modelos mais antigos que não eram tão eficazes.

Ainda há uma forte necessidade de um grande modelo focado no domínio legal chinês, que é o que buscamos abordar com o InternLM-Law.

#Desempenho do Modelo

Nosso modelo, chamado InternLM-Law-7B, recebeu notas altas em várias tarefas legais quando avaliado. Ele se saiu melhor que o GPT-4 e outros grandes modelos gerais. Criamos um dataset abrangente de treinamento a partir de vários datasets legais públicos da internet. Esse dataset inclui pares de perguntas e respostas e outras informações.

Para tornar nosso modelo eficaz em tarefas legais, percebemos que apenas usar dados legais não era suficiente. Adicionamos dados gerais para ajudar o modelo a aplicar suas habilidades mais amplas a questões legais. Também usamos um método de treinamento em duas etapas para ajudar o modelo a aprender regulamentos legais importantes e melhorar seu estilo de resposta.

#Nossas Contribuições

As principais contribuições do nosso trabalho são:

• Construímos o InternLM-Law, um grande modelo de linguagem feito para o campo legal chinês. Ele pode lidar com diferentes tipos de tarefas legais e estabelecer um novo padrão alto na Avaliação LawBench.
• Investimos muito tempo na criação e treinamento do nosso modelo. Nosso dataset tem mais de 1 milhão de amostras e usamos técnicas eficazes para garantir sua qualidade.
• Usamos um pipeline de treinamento em duas etapas, primeiro treinando em tarefas legais e gerais, e depois focando em dados legais de alta qualidade.

#Trabalhos Relacionados em IA Legal

A Inteligência Artificial Legal tem sido um tópico em Processamento de Linguagem Natural há muito tempo. A maioria dos estudos anteriores se concentrou em criar ferramentas especializadas para uma tarefa particular, o que complica o sistema jurídico. Alguns pesquisadores estão trabalhando para criar grandes modelos de linguagem que possam lidar com várias tarefas legais.

Alguns modelos existentes tentaram se concentrar especificamente no domínio legal. Por exemplo, o SaulLM-7B é projetado para compreensão de texto legal, enquanto modelos como o Lawyer-LLaMA evoluíram para melhorar suas habilidades de consultoria através de treinamento focado em datasets legais. No entanto, muitos desses modelos não se saem bem em uma variedade de tarefas, tornando nossa abordagem com o InternLM-Law única.

#Processo de Treinamento do InternLM-Law

Usamos o InternLM2-Chat como base para nosso modelo. O treinamento incluiu duas etapas. Primeiro, treinamos em uma mistura de tarefas legais e gerais. Essa fase ajudou o modelo a ter uma visão mais ampla dos tópicos legais. Depois, refinamos o modelo com um treinamento legal focado para aprimorar seu conhecimento legal, estrutura de resposta e precisão nas respostas.

O treinamento utilizou hardware potente por 8 horas, e configuramos para lidar com textos legais longos permitindo comprimentos de entrada maiores. Ajustamos cuidadosamente as taxas de aprendizado e treinamos cada etapa de forma minuciosa.

#Fontes de Dados para Treinamento

Nosso dataset tinha duas partes: dados legais e gerais. Os dados legais tinham o objetivo de cobrir uma ampla gama de conhecimentos legais, divididos em categorias como materiais de educação legal, registros de consulta e regulamentos legais atualizados. Obtivemos nossos dados legais de várias competições e bancos de dados legais públicos.

Para coletar dados de consulta legal, reunimos milhões de registros de fontes online. Esses registros continham inúmeras questões legais do mundo real onde indivíduos buscavam ajuda de profissionais jurídicos. Para garantir a privacidade, anonimizaram todas as informações sensíveis.

Os dados gerais incluíam uma ampla seleção de tópicos, como conversas do dia a dia, problemas matemáticos e geração de código, todos processados para manter qualidade e utilidade.

#Processamento de Dados Legais

Desenvolvemos um plano detalhado para processar nossos dados legais, visando melhorar sua qualidade. Como as consultas legais online muitas vezes incluíam respostas curtas e menos detalhadas, criamos um método semi-automatizado para expandir e aprimorar essas respostas. Também observamos que a distribuição dos dados estava desequilibrada, então focamos em áreas cruciais como leis e regulamentos para melhorar a qualidade do dataset legal.

#Treinamento de Dados de NLP Legal

Ao lidar com tarefas legais, categorizamos elas em diferentes tipos usando benchmarks legais existentes. Em seguida, geramos instruções diversas e relevantes para cada tarefa para criar um dataset legal bem estruturado.

#Processamento de Dados de Consulta Legal

Nosso dataset de consulta legal incluía vários cenários legais. Reconhecemos que muitos deles continham informações desnecessárias que poderiam prejudicar a qualidade dos dados. Para garantir a confiabilidade, utilizamos métodos de filtragem para refinar o dataset, descartando respostas muito breves ou pouco claras e mantendo a qualidade em todo o processo.

#Processamento de Regulamentos Legais

Para regulamentos legais, transformamos dados de texto puro em pares de perguntas e respostas para treinamento. Ao transformar títulos de leis ou regulamentos em perguntas, ajudamos o modelo a reter efetivamente o conhecimento legal relevante.

#Processamento de Dados Legais de Alta Qualidade

Para tornar o conhecimento legal do nosso modelo mais preciso, usamos o GPT-4 para semi-automatizar a geração de datasets de Q&A de alta qualidade. Verificamos e ajustamos manualmente o conteúdo gerado quanto à precisão.

#Síntese de Dados e Reamostragem

Como as respostas escritas por humanos podem diferir em estilo e detalhe, criamos dados adicionais usando o GPT-4, refinando-os com feedback humano. Amostramos conteúdos legais críticos, focando em questões legais que ocorriam frequentemente para trazer clareza e melhorar a precisão nas respostas do modelo.

#Comparando Nosso Modelo

Comparamos o InternLM-Law com outros modelos líderes, tanto gerais quanto específicos para o legal, incluindo o de alto desempenho GPT-4. A avaliação mostrou que nosso modelo superou os outros, especialmente em tarefas legais no benchmark LawBench, que testa a memorização, compreensão e aplicação do conhecimento legal pelo modelo.

#Avaliação Objetiva e Subjetiva

Além da avaliação de benchmark, avaliamos como nosso modelo se saiu em perguntas legais subjetivas, refletindo consultas legais do mundo real. Nosso modelo alcançou uma taxa de vitória impressionante contra o GPT-4 em tarefas de consulta legal.

#Avaliação de Contexto Longo

Lidar com documentos legais longos é frequentemente necessário. Testamos a capacidade do nosso modelo de entender e responder a perguntas com base em longas sentenças jurídicas. Outros modelos tiveram dificuldades com esse tipo de tarefa, enquanto o InternLM-Law processou textos longos de forma eficaz e respondeu com sucesso a perguntas relacionadas.

#Eficácia das Estratégias de Treinamento

Exploramos como o uso de datasets gerais durante o treinamento impactou tanto as tarefas legais quanto as gerais. Nossas descobertas indicaram que incluir dados gerais não apenas preservou as capacidades gerais do modelo, mas também aprimorou suas habilidades legais.

#Conclusão

O InternLM-Law é um avanço significativo no domínio legal chinês, superando modelos existentes enquanto fornece uma estrutura robusta para futuras aplicações de IA legal. Apesar do seu sucesso, o modelo ainda enfrenta desafios, como imprecisões ocasionais, enfatizando a necessidade de mais melhorias no manejo de tarefas complexas de raciocínio legal.