Avances en el Análisis de Documentos Legales a través del Marco HiCuLR

El Etiquetado de Roles Retóricos (RRL) es una tarea importante para analizar documentos legales. Consiste en identificar la función de cada oración en el documento, como si sirve de introducción, presenta hechos, proporciona evidencia u ofrece razonamiento. Este etiquetado es esencial para varias actividades, incluyendo resumir casos, buscar materiales legales relevantes y analizar argumentos legales.

#La Necesidad de Mejores Enfoques

Tradicionalmente, muchos métodos para RRL han tratado la tarea como un simple problema de clasificación, donde cada oración se etiqueta sin considerar el contexto de las oraciones circundantes. Al principio, estos métodos se basaban en características creadas manualmente como parte de un proceso de resumido. Algunos enfoques posteriores utilizaron algoritmos conocidos como Campos Aleatorios Condicionales con estas características. Métodos más recientes han evolucionado hacia técnicas de aprendizaje profundo, donde los modelos aprenden de un contexto más amplio en lugar de solo de oraciones individuales.

Aunque estos modelos han mejorado, a menudo presentan todos los ejemplos de entrenamiento en un orden aleatorio. Esto ignora los diferentes niveles de dificultad que se encuentran en los documentos legales. Algunos documentos siguen una estructura clara que se puede identificar fácilmente, mientras que otros tienen estilos complejos que requieren un análisis más profundo.

#Introduciendo un Nuevo Marco de Aprendizaje

Para abordar estos desafíos, proponemos un nuevo enfoque llamado HiCuLR, que significa Aprendizaje Curricular Jerárquico para el Etiquetado de Roles Retóricos. Este marco organiza el proceso de entrenamiento en dos niveles: un Currículo a Nivel de Documento (DC) y un Currículo a Nivel de Rol Retórico (RC).

#Currículo a Nivel de Documento (DC)

El Currículo a Nivel de Documento organiza los documentos legales según su dificultad. Examinamos varias formas de medir esta dificultad:

1. Cambios Retóricos: Los documentos que tienen cambios frecuentes en los roles retóricos son probablemente más difíciles de entender. Calculamos la dificultad según cuántas veces un documento cambia de un rol a otro.

2. Desviación del Discurso de Expertos: Aunque no hay una estructura única acordada para los documentos legales, los expertos sugieren ciertos patrones. Comparamos la estructura de cada documento con este patrón proporcionado por expertos. Aquellos que se desvían más reciben una puntuación de mayor dificultad.

3. Desviación del Mejor Discurso Basado en Datos: En lugar de confiar solo en patrones de expertos, usamos datos de entrenamiento para identificar la estructura más común entre los documentos. Puntamos las desviaciones según qué tan cerca esté cada documento de esta mejor estructura.

4. Discurso Probabilístico Basado en Datos: También usamos probabilidades derivadas de los datos para determinar la dificultad. Esto considera la probabilidad de una secuencia de roles retóricos dentro de un documento.

Basándonos en estas puntuaciones, agrupamos los documentos en diferentes niveles de dificultad. Comenzamos a entrenar nuestro modelo con los documentos más fáciles, introduciendo gradualmente los más desafiantes.

#Currículo a Nivel de Rol Retórico (RC)

El Currículo a Nivel de Rol Retórico se enfoca en los roles específicos dentro de los documentos. Dado que la tarea de RRL involucra documentos completos, exponer a un modelo secuencialmente a roles fáciles versus difíciles no es práctico. En vez de eso, adoptamos un enfoque diferente basado en la similitud.

1. Matriz de Confusión: Identificamos roles que el modelo confunde con frecuencia y usamos esta información para organizar el entrenamiento. Los roles que son a menudo confundidos se consideran similares.

2. Similitud de Embedding: Usamos un modelo de lenguaje para generar representaciones de los roles retóricos y sus definiciones, lo que nos permite calcular similitudes. Esto nos ayuda a entender qué roles son similares más allá de solo la confusión en las predicciones.

A través de este método, cada oración se asocia no solo con una etiqueta clara, sino que también puede relacionarse con roles similares. Esto ayuda al modelo a aprender de sus errores de forma más efectiva.

#Combinando los Dos Currículos

El marco HiCuLR combina estos dos currículos de manera anidada. Esto significa que durante cada paso del currículo de rol retórico, se aplica primero el currículo a nivel de documento. Comenzamos con documentos fáciles y gradualmente usamos materiales más complejos, repitiendo el proceso de manera iterativa.

#Experimentando para Validar el Enfoque

Para evaluar la efectividad de HiCuLR, realizamos experimentos utilizando cuatro conjuntos de datos compuestos por documentos legales de los tribunales indios. Cada conjunto de datos incluye un número diferente de roles retóricos y varias cuentas de oraciones.

1. Construcción del Conjunto de Datos: Contiene juicios de varios tribunales con 13 roles retóricos.

2. Conjunto de Datos Paheli: Presenta juicios de la Corte Suprema y tiene 7 roles.

3. Conjuntos de Datos M-CL y M-IT: Estos incluyen casos relacionados con la ley de competencia y el impuesto sobre la renta, respectivamente, cada uno con 7 roles.

Comparamos el rendimiento de nuestro marco HiCuLR contra líneas base que usan métodos tradicionales. Los hallazgos mostraron que todas las estrategias para organizar la dificultad del documento llevaron a mejores resultados que la medición base.

#Perspectivas sobre el Currículo a Nivel de Documento

De nuestros análisis, notamos que todos los métodos utilizados en el Currículo a Nivel de Documento arrojan mejoras en comparación con los métodos básicos. El que usa probabilidades basadas en datos consistentemente superó a los otros. Parece que confiar en patrones observados en los datos es un enfoque más efectivo que apegarse estrictamente a las recomendaciones de expertos.

Una observación interesante fue que un simple conteo de cambios retóricos proporcionó información significativa sobre la dificultad del documento, superando a métodos más complejos en múltiples casos.

#Perspectivas sobre el Currículo a Nivel de Rol Retórico

Ambos métodos utilizados en el currículo de rol retórico mejoraron los resultados en comparación con el rendimiento base. Sin embargo, ninguno de los métodos dominó claramente al otro. Las diferencias en el número de etiquetas entre conjuntos de datos parecieron afectar los resultados, siendo más difíciles de comparar de manera efectiva con más etiquetas.

En general, el currículo de rol retórico mostró que el orden de los roles tiene un efecto significativo en el éxito del modelo para predecirlos con precisión.

#Efectividad del Marco HiCuLR

Cuando combinamos ambos currículos en el marco HiCuLR, los resultados mejoraron aún más. El método basado en probabilidades del currículo a nivel de documento, cuando se emparejó con el enfoque de matriz de confusión del currículo a nivel de rol retórico, destacó como particularmente efectivo.

Experimentamos con diferentes formas de implementar los currículos juntos. Cuando los aplicamos secuencialmente, combinarlos de manera anidada funcionó mejor que usarlos por separado. Nuestros hallazgos sugieren que exponer gradualmente a los modelos a complejidades en los roles lleva a un mejor aprendizaje general.

#Limitaciones y Direcciones Futuras

Aunque HiCuLR muestra promesa, tiene algunas limitaciones. Actualmente, cada oración recibe solo una etiqueta, lo que no captura completamente las sutilezas que pueden presentar las oraciones más largas. Un enfoque más efectivo podría involucrar tratar la tarea como clasificación multietiqueta, donde cada oración puede tener múltiples roles.

Además, nuestros experimentos se centraron en documentos legales de India. Estos documentos pueden compartir un lenguaje y una estructura específicos que pueden no aplicarse a documentos legales de otros países. Para hacer que nuestros hallazgos sean ampliamente aplicables, es importante expandir nuestra investigación para incluir textos legales de diversos sistemas legales y regiones.

#Conclusión

Este trabajo destaca el potencial del aprendizaje curricular para mejorar el Etiquetado de Roles Retóricos de textos legales. Al estructurar el entrenamiento según dificultad y similitud, podemos equipar mejor a los modelos para aprender de discursos complejos. El marco propuesto HiCuLR integra estas ideas, mostrando resultados prometedores en la fase de prueba. Más investigaciones podrían refinar estos métodos y ampliar sus aplicaciones en el campo del análisis de documentos legales.