Un nuevo método para evaluar resúmenes legales

Hay una cantidad creciente de información legal disponible en línea. Esto puede ser abrumador tanto para los profesionales del derecho como para el público en general. Los documentos legales pueden ser largos y difíciles de leer, así que Resúmenes más cortos suelen ser útiles. Los resúmenes ofrecen una visión rápida de los casos y ayudan a los lectores a decidir si quieren leer el documento completo. Evaluar la calidad de estos resúmenes es esencial, pero los métodos tradicionales tienen limitaciones.

#Retos con la Evaluación de Resúmenes Tradicional

Los métodos de evaluación más comunes, como las puntuaciones ROUGE, se enfocan en la superposición de palabras y la gramática. No consideran el contexto o qué tan bien el resumen cumple con las necesidades del lector. Esto es especialmente importante en contextos legales donde entender la estructura argumentativa es crucial. Los resúmenes legales deben transmitir los puntos principales de manera clara y precisa.

#Método Propuesto para Evaluar Resúmenes Legales

Para abordar estos desafíos, se ha desarrollado un nuevo método que utiliza preguntas automáticas. Este método se enfoca en la estructura argumentativa de los resúmenes legales, que incluye tres elementos clave:

1. Problema - la cuestión legal que se aborda en el caso
2. Razón - una explicación de por qué el tribunal tomó su decisión
3. Conclusión - la decisión final del tribunal sobre el problema

El método de evaluación propuesto tiene tres pasos principales:

1. Un modelo genera pares de preguntas y respuestas basándose en el resumen de referencia.
2. El mismo modelo responde a las preguntas usando el resumen que se está evaluando.
3. Finalmente, el modelo compara las respuestas de ambos resúmenes y asigna calificaciones según cuán similares sean.

#Trabajo Relacionado

La conexión entre responder preguntas y resumir se ha vuelto popular en investigaciones recientes. El Stanford Question Answering Dataset (SQuAD) ha establecido el estándar para este tipo de investigación. Algunos estudios muestran que la evaluación basada en responder preguntas es preferida por evaluadores humanos sobre métodos tradicionales.

Los avances recientes en modelos de lenguaje grande (LLMs) como GPT-3 y GPT-4 han hecho posible generar textos más similares a los humanos. Estos modelos se han utilizado para crear marcos de evaluación. Sin embargo, pocos estudios han aplicado métodos de respuesta de preguntas para evaluar resúmenes legales. El enfoque discutido aquí busca integrar la estructura argumentativa legal con la respuesta automática a preguntas.

#Diseño Experimental

En este trabajo, se utilizó GPT-4 para crear pares de preguntas y respuestas basados en resúmenes legales. Se diseñó un aviso especial para generar no solo las preguntas, sino también los tipos de preguntas que se estaban haciendo. Las preguntas generadas se utilizaron para predecir respuestas basadas en los resúmenes producidos por diferentes modelos: Longformer Encoder-Decoder (LED), BART y GPT-4.

Tanto LED como BART requieren ajuste fino para producir buenos resúmenes, mientras que GPT-4 puede generarlos de inmediato. Se utilizó un conjunto de datos que contiene resúmenes de casos legales canadienses, que incluye resúmenes anotados con las decisiones completas correspondientes.

Para los experimentos, se utilizó el 90% de los datos para entrenar los modelos, mientras que el 10% restante se reservó para pruebas. Para reducir costos, solo se evaluaron 10 resúmenes generados por cada modelo usando el enfoque de respuesta a preguntas.

#Generando Pares de Preguntas y Respuestas

Para crear pares de preguntas y respuestas, se utilizó una plantilla de aviso. Esta plantilla guió al modelo para generar preguntas basadas en los resúmenes anotados. La estructura de las preguntas siguió el formato argumentativo legal de Problema, Razón y Conclusión.

Una vez generados los pares de preguntas y respuestas, se utilizó otro aviso para evaluar las respuestas. El modelo comparó las respuestas predichas con las respuestas reales para determinar su calidad. Cada respuesta recibió una calificación en una escala del 0 al 10, donde 0 significa que no se encontró la respuesta, y 10 indica que estaba muy cerca de la respuesta correcta.

#Resultados y Discusión

Se generaron un total de 48 pares de preguntas y respuestas en 10 casos. Un evaluador humano verificó si las preguntas eran relevantes y se respondían correctamente. De las 48 preguntas, 42 se consideraron que capturaban adecuadamente la información necesaria. Todas las 48 respuestas fueron correctas y abordaron las preguntas de manera apropiada.

Esta evaluación sugiere que el modelo puede producir respuestas coherentes y contextualmente relevantes a tipos específicos de preguntas legales. Estos pares de preguntas y respuestas sirvieron como estándar de comparación al calificar otros resúmenes.

Al comparar las calificaciones dadas por el modelo y los evaluadores humanos, se utilizaron varias medidas de correlación. La correlación de Pearson evaluó la relación lineal entre los dos métodos de calificación, mientras que la correlación de Spearman evaluó la relación monótona.

La evaluación mostró que los resúmenes generados por BART tuvieron la mayor correlación con la calificación humana para tipos de respuestas sobre Problemas. Por otro lado, los resúmenes generados por LED mostraron la mayor correlación para tipos de Razón, y los resúmenes de GPT-4 destacaron con tipos de Conclusión. En general, las evaluaciones del modelo se alinearon fuertemente con las evaluaciones humanas, lo que indica que este método mide de manera confiable la calidad del resumen.

#Conclusión

El método propuesto de respuesta a preguntas para evaluar resúmenes legales ha mostrado una fuerte correlación con la evaluación humana. Esto sugiere que es una herramienta valiosa para evaluar la calidad de la resumencia. Los hallazgos indican que este enfoque se alinea bien con cómo las personas perciben cómo debería estar estructurado un buen resumen.

#Trabajo Futuro

Aunque este trabajo ha sentado las bases, hay áreas para mejorar. El rendimiento de GPT-4 como métrica de evaluación depende en gran medida de cómo se construyen los avisos. La investigación futura se centrará en experimentar con diferentes avisos para mejorar aún más el rendimiento.

Además, escalar los experimentos proporcionará resultados de comparación más robustos. También hay una necesidad de un control de calidad más estricto al generar resúmenes, particularmente al tratar con documentos largos y complejos.

Este trabajo contribuye a mejorar el acceso a la justicia al hacer la información legal más clara y fácil de entender para todos. Al mejorar la calidad de los resúmenes legales, más personas pueden comprender e involucrarse con temas legales importantes.