Presentamos a LawLuo: Un Nuevo Enfoque para la Asistencia Legal

Los Modelos de Lenguaje Grande (LLMs) han demostrado ser útiles para brindar ayuda legal a quienes no tienen conocimientos en derecho. Sin embargo, muchos LLMs actuales en China limitan sus interacciones a un formato de conversación uno a uno. Esto es diferente a cómo operan los bufetes de abogados, donde varios expertos trabajan juntos en consultas. Esta limitación restringe la efectividad de estos modelos para ofrecer una experiencia de consulta real. Además, estos modelos enfrentan desafíos como la calidad de sus datos de entrenamiento, la confusión con preguntas poco claras de los usuarios y una disminución en su capacidad para seguir instrucciones detalladas a medida que las discusiones se prolongan.

Para abordar estos desafíos, presentamos un nuevo sistema llamado LawLuo. Este sistema consta de cuatro agentes: un recepcionista, un abogado, un secretario y un JEFE. Cada agente tiene su propio rol, y juntos trabajan para proporcionar una consulta legal completa a los usuarios. También creamos dos conjuntos de datos de diálogos legales detallados para entrenar eficazmente nuestro modelo de lenguaje.

#Antecedentes sobre LLMs en Servicios Legales

El auge de modelos como ChatGPT ha acelerado el desarrollo de LLMs en China. Muchos de estos modelos, como ChatGLM y LLaMa, son buenos para entender y generar respuestas en chino. También hay modelos diseñados específicamente para campos como medicina, finanzas y derecho que pueden atender necesidades específicas de los usuarios.

Los LLMs legales se crearon para ofrecer respuestas rápidas y precisas a preguntas legales para quienes no tienen conocimientos en el área. Modelos recientes incluyen LawGPT y lawyer-llama, que utilizan grandes conjuntos de datos de diálogos legales chinos para entrenarse. Aunque estos modelos pueden participar en discusiones legales, aún tienen problemas para imitar el proceso real de consultar a un abogado, perdiendo el aspecto colaborativo que se encuentra en la práctica legal real.

#El Marco de LawLuo

El marco de LawLuo tiene como objetivo replicar el proceso real de consultas legales en bufetes de abogados. Comenzamos entrenando nuestro modelo de lenguaje principal, ChatGLM-3-6b, con datos de diálogo de alta calidad. Este proceso ayuda a crear un modelo que puede manejar múltiples rondas de diálogo de manera efectiva.

#Diseño del Sistema Multi-Agente

En LawLuo, hemos definido roles específicos para nuestros agentes basados en cómo operan los bufetes de abogados:

1. Recepcionista: Este agente asigna al usuario al abogado adecuado según su consulta.
2. Abogados: Estos agentes guían al usuario a través de sus preguntas legales en múltiples intercambios.
3. Secretario: Este agente organiza la conversación en un informe tanto para el usuario como para el supervisor.
4. Jefe: Este agente evalúa el trabajo realizado por los abogados y el secretario.

El diseño permite que estos agentes colaboren para crear una mejor experiencia para los usuarios que necesitan asistencia legal.

#Ajuste Fino de Instrucciones

Muchos LLMs legales existentes han utilizado grandes cantidades de datos durante su entrenamiento. Sin embargo, la calidad de estos datos a menudo puede ser deficiente. Desarrollamos un conjunto de datos más pequeño y de alta calidad conocido como KINLED, que incluye varios tipos de diálogos legales. Usar un conjunto de datos más pequeño pero de alta calidad conduce a un mejor rendimiento en ayudar a los usuarios.

También recopilamos interacciones de múltiples turnos de un bufete de abogados, creando otro conjunto de datos llamado MURLED. Esto ayuda a nuestro modelo a desarrollar una mejor comprensión de cómo participar en conversaciones más largas, mejorando su capacidad para responder con precisión a las preguntas de los usuarios.

#Ventajas de LawLuo

LawLuo ofrece varias ventajas clave en comparación con los modelos existentes:

1. Experiencia de Consulta Realista: Al usar múltiples agentes, el sistema imita el proceso colaborativo en los bufetes de abogados. Esto asegura que el usuario reciba un consejo completo.
2. Respuestas de Alta Calidad: El enfoque en datos de calidad durante el entrenamiento significa que LawLuo puede proporcionar asesoría legal más precisa en comparación con modelos que dependen de conjuntos de datos más grandes, pero de menor calidad.
3. Clarificación Efectiva de Consultas: El marco incluye un algoritmo especializado diseñado para ayudar a clarificar consultas vagas de los usuarios. Esto permite una comunicación más clara, lo que lleva a mejores respuestas.

#Confirmando Efectividad

Probamos LawLuo contra modelos existentes en diferentes criterios, como el estilo del lenguaje, la utilidad del consejo y la precisión del conocimiento legal. Los resultados mostraron que LawLuo superó consistentemente a los modelos competidores, demostrando su efectividad.

#Rendimiento en Preguntas de un Solo Turno

Al analizar preguntas simples de un solo turno, LawLuo se desempeñó significativamente mejor que los modelos base. Las evaluaciones fueron realizadas por expertos humanos y otros modelos de lenguaje, confirmando que LawLuo es efectivo para proporcionar respuestas legales relevantes.

#Rendimiento en Diálogos de Varios Turnos

También evaluamos el rendimiento de LawLuo en conversaciones más largas. Los resultados indicaron que el sistema mantuvo respuestas de alta calidad incluso a medida que continuaba el diálogo. Esta fortaleza proviene del uso de datos de conversaciones de múltiples turnos durante el entrenamiento, lo que es una ventaja clave sobre otros modelos que en su mayoría dependen de datos de un solo turno.

#Contribución de Cada Componente

Para ver cómo cada parte del sistema contribuye al rendimiento general, realizamos un estudio de ablación. Esto involucró la eliminación de diferentes agentes y el análisis del impacto en la efectividad del sistema. Los resultados mostraron que agentes como el recepcionista y el jefe ayudan significativamente a proporcionar mejores respuestas.

#Un Estudio de Caso sobre Clarificación de Consultas

Para ilustrar la efectividad del sistema, examinamos cómo LawLuo aclara consultas complejas de los usuarios. Por ejemplo, un usuario que pregunta sobre procedimientos de divorcio podría recibir orientación más detallada a través de una serie de preguntas aclaratorias proporcionadas por el sistema. Este enfoque lleva a respuestas más precisas que realmente satisfacen las necesidades del usuario.

#Limitaciones y Direcciones Futuras

A pesar de sus fortalezas, LawLuo no está exento de limitaciones. Por ejemplo, si el recepcionista asigna incorrectamente al usuario al abogado equivocado, puede llevar a malentendidos y consultas ineficaces. Las mejoras futuras pueden incluir la creación de un sistema dinámico que pueda reasignar a los usuarios al agente correcto durante una conversación.

Además, no todos los agentes en LawLuo utilizan un modelo de lenguaje grande en este momento. Al desarrollar un sistema donde cada agente emplee tecnología LLM, podemos mejorar la capacidad general del marco para proporcionar asistencia legal.

#Conclusión

LawLuo representa un avance significativo en el campo de la asistencia legal por IA. Al implementar un marco colaborativo de múltiples agentes, este sistema ofrece una experiencia de consulta legal más realista. Su sólido rendimiento al ofrecer asesoría legal de alta calidad resalta la importancia de un enfoque centrado en la calidad de los datos.

La creación de los conjuntos de datos KINLED y MURLED subraya nuestra creencia de que la calidad de los datos tiene más valor que la pura cantidad para mejorar los LLMs legales. Con mejoras continuas, LawLuo tiene el potencial de transformar aún más el panorama de los servicios de asesoría legal, ofreciendo un mejor apoyo a los usuarios que buscan conocimiento legal.