Votos divididos de jueces: Perspectivas para la IA en el derecho

En casos legales, a veces los jueces no están de acuerdo con los resultados, lo que lleva a votos divididos. Esto puede hacer que sea difícil para los abogados navegar entre las diferentes opiniones. En situaciones de alta tensión, es esencial entender cómo tanto los humanos como los sistemas de IA ven la dificultad en las decisiones legales. El objetivo es generar confianza en los sistemas de IA que ayudan con predicciones legales. Sin embargo, muchos métodos actuales pasan por alto las diferencias en cómo los humanos etiquetan los casos, lo que puede variar bastante.

Este artículo habla sobre la recolección de datos sobre los votos divididos de los jueces del Tribunal Europeo de Derechos Humanos (TEDH). Los datos recopilados ayudarán a clasificar los resultados legales de manera más precisa. Un enfoque especial está en entender el desacuerdo entre los jueces y cómo afecta las predicciones hechas por los sistemas de IA. También sugeriremos nuevas formas de medir y mejorar la alineación entre los juicios humanos y las predicciones de la IA.

#Votos Divididos en Decisiones Legales

La Clasificación de Resultados de Casos (COC) es la tarea de predecir los resultados de casos legales basándose en sus descripciones. Aunque tener alta precisión es bueno, entender cuán seguro está un modelo de sus predicciones es igual de importante. Esto es especialmente cierto en áreas críticas como el derecho y la medicina, donde los errores pueden tener consecuencias graves.

La Calibración es un método usado para ver si un modelo entiende su propio rendimiento. Verifica si las probabilidades predichas representan cuán probable es que una predicción sea correcta. Los modelos también pueden optar por abstenerse de hacer una predicción cuando no están seguros, lo que se conoce como clasificación selectiva.

La investigación actual en procesamiento de lenguaje natural (NLP) se centra principalmente en qué tan bien se desempeña un modelo en comparación con la mayoría humana. Sin embargo, al estudiar los desacuerdos entre humanos, vemos que hay muchos casos de Variación en la Etiquetación Humana (HLV) que los modelos también deberían tener en cuenta. HLV representa las diferentes formas en que los humanos pueden interpretar y clasificar información. Reconocer y aceptar estas variaciones es esencial para construir una IA más confiable.

El objetivo de este trabajo es mostrar que los modelos no solo necesitan ser conscientes de su propia incertidumbre, sino también ser capaces de ver cuando los humanos están inseguros. Esta doble conciencia busca aumentar la confianza en los sistemas de IA.

Para estudiar esto, analizamos detenidamente los votos divididos dentro del TEDH. Los votos divididos reflejan desacuerdos reales entre los jueces, dándonos una forma de analizar las fuentes de estas diferencias.

#El Conjunto de Datos SV-ECHR

Para recopilar información sobre los votos divididos, extrajimos datos de una base de datos pública conocida como HUDOC. Los datos se centran en artículos específicos de leyes de derechos humanos. Realizamos varias rondas de controles de calidad, mejorando significativamente nuestro proceso de recolección de datos.

El conjunto de datos creado, conocido como SV-ECHR, contiene 11,000 descripciones de casos que incluyen datos sobre qué leyes supuestamente fueron violadas y cómo votaron los jueces. Este conjunto de datos se divide en grupos de entrenamiento, validación y prueba.

Al analizar los desacuerdos entre jueces, encontramos que muchos casos, alrededor del 60%, tenían votos disidentes únicos. Esto significa que en la mayoría de los casos, solo un juez difería de la mayoría. Esto es importante para entender cómo se toman las decisiones en el tribunal.

#Fuentes de Desacuerdo

Los desacuerdos entre jueces pueden surgir de varios factores:

1. Ambigüedad Genuina: Esto se refiere a casos donde las leyes son poco claras o abiertas a múltiples interpretaciones. Los términos legales pueden ser amplios, permitiendo a los jueces justificar sus decisiones de diversas maneras.

2. Instanciación del Texto: Esto abarca problemas que surgen de cómo se redactan los documentos del caso. Algunos fallos legales pueden ser confusos o inconsistentes, lo que lleva a diferentes interpretaciones entre jueces.

3. Sensibilidad al Contexto: Las circunstancias específicas que rodean un caso influyen en las decisiones de los jueces. Ciertos factores sociales y políticos pueden complicar cómo se aplican las leyes.

4. Variabilidad en los Jueces: Los jueces provienen de diferentes antecedentes y culturas, lo que puede afectar sus decisiones. Esta diversidad puede llevar a variaciones en cómo interpretan leyes y hechos.

Nuestro objetivo fue categorizar estas fuentes de desacuerdo para entender mejor los procesos de toma de decisiones de los jueces.

#Métodos de Evaluación

Usamos varios métodos para evaluar cómo los desacuerdos de los jueces se relacionaban con el rendimiento de los modelos de IA para predecir resultados de casos. Esto involucró observar la alineación entre las predicciones de los modelos y los votos reales emitidos por los jueces.

Para evaluar qué tan difícil podría ser un caso para que un modelo lo prediga, examinamos ciertas características de los casos como proxies. Por ejemplo, examinamos si el caso se consideraba un "caso clave" que a menudo llevaba a desacuerdos.

Descubrimos que los casos que involucraban solicitantes vulnerables o aquellos asociados con países de alta reputación a menudo llevaban a mayores desacuerdos entre jueces. El contexto político y social de estos casos puede hacer que las decisiones sean más complejas.

#Evaluación del Modelo

En nuestro estudio, examinamos qué tan efectivamente los modelos podían predecir los resultados de los casos usando un método conocido como Clasificación de Resultados de Casos (COC). Utilizamos un modelo específico, LegalBERT, que se basa en la arquitectura BERT y está adaptado para documentos legales.

Nos centramos en qué tan bien se desempeñó este modelo al evaluar los resultados de los casos y la dificultad de las predicciones. Los resultados mostraron que los modelos se desempeñaron mejor en casos con decisiones unánimes en comparación con aquellos con votos divididos.

Además, exploramos qué tan bien calibrados estaban los modelos. La calibración es crucial para entender cuán seguro está un modelo sobre sus predicciones. Encontramos que los modelos necesitaban mejorar en entender cuándo había incertidumbre humana presente.

#Hallazgos sobre Calibración

Los estudios de calibración principalmente evalúan qué tan bien las probabilidades predichas por un modelo coinciden con los resultados reales. En nuestro caso, encontramos que los modelos entrenados en casos de votos divididos mostraban una desalineación significativa con los votos humanos. Esta brecha indica la necesidad de modelos mejores que tengan en cuenta cómo los humanos toman decisiones legales.

Probamos diferentes métodos para mejorar la calibración, incluyendo Escalado de Temperatura y entrenamiento con Función de Pérdida Suave. Estos métodos tenían como objetivo ayudar a los modelos a alinear mejor sus predicciones con los juicios humanos.

En general, aunque encontramos algunas mejoras, los modelos aún luchaban por reflejar con precisión las sutilezas de las decisiones de los jueces, particularmente para los casos de votos divididos.

#Conclusión

Este estudio resalta la necesidad de considerar el desacuerdo humano al entrenar IA para tareas legales. El nuevo conjunto de datos SV-ECHR ayudará a los investigadores a entender cómo los votos divididos de los jueces afectan las predicciones de resultados de casos.

De cara al futuro, es esencial explorar más formas de mejorar el rendimiento del modelo en alineación con el comportamiento humano. Este trabajo busca abrir camino para aplicaciones de IA más confiables en el campo legal.

En resumen, reconocer la diversidad de juicios humanos e incorporar este entendimiento en los modelos de IA puede mejorar significativamente su rendimiento en áreas críticas como el derecho. Al reconocer y abordar las complejidades y incertidumbres presentes en la toma de decisiones legales, podemos construir sistemas de IA más fuertes y confiables que sirvan mejor a la sociedad.