Presentamos PredEx: Una Nueva Herramienta de Predicción Legal

El mundo legal es complicado, y predecir lo que los jueces decidirán en los casos judiciales puede ser muy difícil. Este reto se complica por la naturaleza compleja de las charlas legales y la falta de datos disponibles que los expertos han revisado. Para abordar estos problemas, presentamos una nueva herramienta llamada Predicción con Explicación (PredEx). Esta herramienta incluye el mayor conjunto de datos revisado por expertos para predecir juicios legales en India, con más de 15,000 anotaciones detalladas.

#¿Qué es PredEx?

PredEx es un conjunto de datos que contiene un montón de juicios de tribunales de India. Es única porque no solo predice los resultados de los casos legales, sino que también ofrece Explicaciones para estas predicciones. Este es un gran avance en la tecnología legal, especialmente en un país como India, donde el sistema judicial a menudo está abrumado con casos. Al proporcionar predicciones claras y razones, PredEx busca mejorar la forma en que los tribunales manejan los casos.

#¿Por qué es esto importante?

En India, hay un enorme rezago de casos legales que esperan ser resueltos. Este rezago crea retrasos en la entrega de justicia. Al usar herramientas como PredEx, el sistema legal puede volverse más eficiente. Las herramientas que pueden predecir decisiones judiciales ayudan a abogados, clientes e incluso a los mismos jueces a tomar mejores decisiones basadas en resultados pasados y razonamiento legal.

#La necesidad de explicación en las predicciones

Tradicionalmente, muchos sistemas que intentan predecir resultados legales se enfocan solo en cuál será la decisión, sin ofrecer una explicación. Sin embargo, simplemente predecir un resultado no es suficiente. La gente necesita saber por qué se tomó una decisión específica. Entender las razones detrás de un juicio ayuda a los abogados a preparar mejor sus casos y hace que el proceso judicial sea más transparente. PredEx aborda esta necesidad al proporcionar también explicaciones detalladas junto con sus predicciones.

#Construyendo el conjunto de datos de PredEx

Crear el conjunto de datos de PredEx fue un proceso minucioso. Inicialmente, recopilé alrededor de 20,000 juicios de tribunales de varias fuentes, especialmente del Tribunal Supremo y los Altos Tribunales de India. Esta colección sirvió como la base para nuestro conjunto de datos. Sin embargo, no todos estos documentos eran completos o informativos suficientes para nuestros fines. Como resultado, anotamos cuidadosamente los juicios, destacando oraciones clave y áreas que se relacionaban con las decisiones tomadas por los jueces.

Después de esta rigurosa Anotación, el conjunto de datos se refinó a aproximadamente 15,222 juicios, que se dividieron en dos partes: un conjunto de entrenamiento para construir nuestros modelos y un conjunto de prueba para evaluar su rendimiento. Específicamente, el 80% de los datos se usaron para entrenamiento y el 20% restante se reservó para pruebas.

#El proceso de anotación

Un equipo de expertos legales, principalmente estudiantes de facultades de derecho en India, realizó el trabajo de anotación. Cada anotador revisó alrededor de 30 juicios por semana. Su tarea era identificar y extraer segmentos importantes que reflejaran el razonamiento del juez. Para asegurar la calidad de las anotaciones, implementamos varios procesos de revisión. Para cualquier desacuerdo en las anotaciones, un experto senior interviene para proporcionar aclaración.

Se llevaron a cabo sesiones de capacitación regulares para alinear al equipo sobre qué buscar en los juicios, evitando cualquier inconsistencia en las anotaciones. Este enfoque riguroso garantizó que nuestro conjunto de datos cumpliera con altos estándares de precisión y confiabilidad.

#Metodología para la predicción y la explicación

PredEx se basa en modelos de IA avanzados para predecir resultados legales y proporcionar explicaciones. Nuestro enfoque involucró diferentes tipos de modelos de lenguaje diseñados específicamente para texto legal. Usamos un método llamado ajuste de instrucciones, que mejora la capacidad de los modelos para entender el lenguaje y razonamiento legal.

La tarea de predicción se enfoca en determinar si una apelación será aceptada o rechazada según los detalles del caso. La tarea de explicación luego elabora el razonamiento detrás de esa predicción. Este enfoque en dos pasos asegura que no solo predecimos resultados, sino que también los justificamos con explicaciones claras.

#Evaluando los modelos

Para evaluar qué tan bien se desempeñaron nuestros modelos de IA, usamos varios métodos de evaluación. Además de métricas tradicionales como la precisión, también empleamos medidas lingüísticas para comparar las explicaciones generadas con las revisiones de expertos. Esto incluyó evaluar la similitud léxica, que observa la superposición de palabras y la estructura entre la salida del modelo y las explicaciones reales de expertos.

También utilizamos evaluaciones humanas, donde expertos legales calificaron la calidad de las explicaciones en una escala del uno al cinco. Estas evaluaciones proporcionaron valiosos conocimientos sobre cuánto se alineaban las explicaciones del modelo con el razonamiento legal establecido.

#Resultados de nuestra investigación

Los resultados de rendimiento de nuestros modelos fueron prometedores. Modelos tradicionales, como Roberta, superaron a algunos de los modelos generativos más nuevos. Esto indica que los modelos establecidos todavía tienen un papel importante en la interpretación de textos legales. Nuestra investigación mostró que los modelos ajustados por instrucciones también funcionaron bien, especialmente en la generación de explicaciones que coincidían con el razonamiento de expertos.

El proceso de evaluación reveló que nuestros modelos podían proporcionar explicaciones que eran claras y relevantes. Sin embargo, algunos modelos todavía luchaban con la precisión en sus salidas. La necesidad de mejora continua era evidente, especialmente en mejorar la comprensión de los modelos sobre las complejidades del lenguaje legal.

#Desafíos enfrentados

Si bien la investigación arrojó resultados positivos, se encontraron varios desafíos en el camino. Un gran desafío fue la limitación del tamaño del modelo, que fue impuesta por los recursos computacionales disponibles. Esta limitación afectó nuestra capacidad para usar modelos más grandes que podrían ofrecer un mejor rendimiento.

Otro desafío fue asegurar anotaciones de expertos legales. Este proceso resultó ser lento y costoso, limitando el alcance de nuestras evaluaciones. Tuvimos que depender de una muestra más pequeña de casos para las revisiones de expertos, lo que podría no representar completamente el conjunto de datos.

#Direcciones futuras

Mirando hacia adelante, planeamos desarrollar aún más nuestros modelos para que sean más especializados para el contexto legal indio. Crear modelos que estén profundamente arraigados en las sutilezas de la ley india es crucial para mejorar la precisión de las predicciones y la calidad de las explicaciones.

También buscamos mejorar nuestro enfoque incorporando más retroalimentación de expertos legales. Esto nos ayudará a refinar nuestros modelos y alinearlos mejor con el razonamiento legal del mundo real. Además, exploraremos técnicas que podrían reducir errores en las salidas generadas, asegurando que las predicciones y explicaciones sean tanto precisas como relevantes.

#Conclusión

PredEx representa un avance significativo en la intersección de la IA y el campo legal, particularmente en India. Al predecir resultados y proporcionar explicaciones, busca abordar muchos de los desafíos que enfrenta el sistema judicial. La integración de conjuntos de datos robustos y métodos avanzados de IA tiene el potencial de mejorar la eficiencia y transparencia de los procesos legales, beneficiando en última instancia a los profesionales legales y al público en general.

A medida que continuamos refinando nuestros modelos y expandiendo nuestro conjunto de datos, somos optimistas sobre el papel de la IA en la transformación del panorama legal. El objetivo es servir mejor las necesidades del poder judicial, los abogados y los ciudadanos, asegurando que la justicia se entregue de manera efectiva y transparente.