Apresentando o LawLuo: uma nova maneira de ajudar com assuntos legais

Modelos de Linguagem Grande (LLMs) têm se mostrado úteis para dar ajuda legal pra quem não manja de direito. Mas, muitos LLMs atuais na China limitam suas interações a um formato de conversa um a um. Isso é diferente de como os escritórios de advocacia funcionam, onde vários especialistas trabalham juntos nas consultas. Essa limitação dificulta a eficácia desses modelos em oferecer uma experiência real de consulta. Além disso, esses modelos enfrentam desafios como a qualidade dos dados de treinamento, confusão com perguntas vagas dos usuários e uma capacidade crescente de seguir instruções detalhadas em conversas mais longas.

Pra resolver esses desafios, a gente apresenta um novo sistema chamado LawLuo. Esse sistema tem quatro agentes: um recepcionista, um advogado, um secretário e um CHEFE. Cada agente tem seu papel, e juntos eles trabalham pra oferecer uma consulta legal completa pros usuários. Também criamos dois conjuntos de dados de diálogos legais detalhados pra treinar nosso modelo de linguagem de forma eficaz.

#Contexto sobre LLMs em Serviços Legais

O surgimento de modelos como o ChatGPT acelerou o desenvolvimento dos LLMs chineses. Muitos desses modelos, como ChatGLM e LLaMa, são bons em entender e gerar respostas em chinês. Tem também modelos feitos especificamente pra áreas como medicina, finanças e direito que podem atender necessidades específicas dos usuários.

Os LLMs legais foram criados pra oferecer respostas rápidas e precisas a perguntas legais pra quem não tem conhecimento jurídico. Modelos recentes incluem LawGPT e lawyer-llama, que usam grandes conjuntos de dados de diálogos legais em chinês pra se treinar. Embora esses modelos consigam participar de discussões legais, ainda têm dificuldade em imitar o processo real de consultar um advogado, perdendo o aspecto colaborativo que encontramos em práticas jurídicas reais.

#A Estrutura do LawLuo

A estrutura do LawLuo tem como objetivo replicar o processo real de consultas legais em escritórios de advocacia. Começamos treinando nosso modelo de linguagem principal, ChatGLM-3-6b, com dados de diálogo de alta qualidade. Esse processo ajuda a criar um modelo que consegue lidar com várias rodadas de diálogo de forma eficaz.

#Design do Sistema de Múltiplos Agentes

No LawLuo, definimos papéis específicos pros nossos agentes baseados em como os escritórios de advocacia operam:

1. Recepcionista: Esse agente direciona o usuário pro advogado certo baseado na pergunta dele.
2. Advogados: Esses agentes guiam o usuário através das perguntas legais em várias trocas.
3. Secretário: Esse agente organiza a conversa em um relatório tanto pro usuário quanto pro supervisor.
4. Chefe: Esse agente avalia o trabalho feito pelos advogados e pelo secretário.

O design permite que esses agentes colaborem pra criar uma experiência melhor pra quem precisa de ajuda legal.

#Ajuste Fino de Instruções

Muitos LLMs legais existentes usaram grandes quantidades de dados durante o treinamento. No entanto, a qualidade desses dados pode ser muitas vezes ruim. A gente desenvolveu um conjunto de dados menor, mas de alta qualidade, chamado KINLED, que inclui vários tipos de diálogos legais. Usar um conjunto de dados menor com alta qualidade leva a um desempenho melhor na ajuda aos usuários.

A gente também coletou interações de várias rodadas de um escritório de advocacia, criando outro conjunto de dados chamado MURLED. Isso ajuda nosso modelo a desenvolver uma melhor compreensão de como engajar em conversas mais longas, melhorando sua capacidade de responder com precisão às perguntas dos usuários.

#Vantagens do LawLuo

O LawLuo oferece várias vantagens importantes sobre modelos existentes:

1. Experiência de Consulta Realista: Usando múltiplos agentes, o sistema imita o processo colaborativo nos escritórios de advocacia. Isso garante que o usuário receba conselhos completos.
2. Respostas de Alta Qualidade: O foco na qualidade dos dados durante o treinamento significa que o LawLuo pode fornecer conselhos legais mais precisos em comparação com modelos que dependem de conjuntos de dados maiores, mas de qualidade inferior.
3. Eficácia na Clarificação de Perguntas: A estrutura inclui um algoritmo especializado projetado pra ajudar a esclarecer perguntas vagas dos usuários. Isso permite uma comunicação mais clara e leva a respostas melhores.

#Confirmando Eficácia

Testamos o LawLuo contra modelos existentes em diferentes critérios, como estilo de linguagem, utilidade do conselho e precisão do conhecimento legal. Os resultados mostraram que o LawLuo consistentemente superou os modelos concorrentes, demonstrando sua eficácia.

#Desempenho em Perguntas de Uma Só Ronda

Quando analisamos perguntas simples de uma só ronda, o LawLuo se saiu muito melhor que os modelos básicos. As avaliações foram feitas tanto por especialistas humanos quanto por outros modelos de linguagem, confirmando que o LawLuo é eficaz em fornecer respostas legais relevantes.

#Desempenho em Diálogos de Múltiplas Rodadas

Também avaliamos o desempenho do LawLuo em conversas mais longas. Os resultados indicaram que o sistema manteve respostas de alta qualidade mesmo conforme o diálogo continuava. Essa força vem do uso de dados de conversação de múltiplas rodadas durante o treinamento, o que é uma grande vantagem em relação a outros modelos que na maioria das vezes dependem de dados de uma só ronda.

#Contribuição de Cada Componente

Pra ver como cada parte do sistema contribui pro desempenho geral, fizemos um estudo de ablação. Isso envolveu remover diferentes agentes e analisar o impacto na eficácia do sistema. Os resultados mostraram que agentes como o recepcionista e o chefe ajudam significativamente na melhoria das respostas.

#Um Estudo de Caso sobre Clarificação de Perguntas

Pra ilustrar a eficácia do sistema, examinamos como o LawLuo clarifica perguntas complexas dos usuários. Por exemplo, um usuário perguntando sobre procedimentos de divórcio poderia receber uma orientação mais detalhada através de uma série de perguntas esclarecedoras fornecidas pelo sistema. Essa abordagem leva a respostas mais precisas que realmente atendem às necessidades do usuário.

#Limitações e Direções Futuras

Apesar de suas forças, o LawLuo não está sem limitações. Por exemplo, se o recepcionista designar o usuário pro advogado errado, isso pode levar a mal-entendidos e consultas ineficazes. Melhorias futuras podem incluir a criação de um sistema dinâmico que consiga redirecionar usuários pro agente correto durante uma conversa.

Além disso, nem todo agente no LawLuo utiliza um modelo de linguagem grande no momento. Desenvolvendo um sistema onde cada agente emprega tecnologia LLM, podemos aumentar a capacidade geral da estrutura em fornecer assistência legal.

#Conclusão

O LawLuo representa um avanço significativo no campo da assistência jurídica por IA. Implementando uma estrutura colaborativa de múltiplos agentes, esse sistema oferece uma experiência de consulta legal mais realista. Seu forte desempenho em oferecer conselhos legais de alta qualidade destaca a importância de uma abordagem focada nos dados de treinamento.

A criação dos conjuntos de dados KINLED e MURLED reafirma nossa crença de que a qualidade dos dados tem mais valor do que o volume puro na melhoria dos LLMs legais. Com melhorias contínuas, o LawLuo tem potencial pra transformar ainda mais o cenário dos serviços de consultoria legal, oferecendo melhor suporte pra usuários em busca de conhecimento jurídico.