Votes partagés des juges : Perspectives pour l'IA dans le droit

Dans les affaires juridiques, les juges ne sont pas toujours d'accord sur les résultats, ce qui mène à des votes partagés. Ça peut rendre la tâche difficile pour les avocats qui essaient de naviguer entre les différentes opinions. Dans des situations où les enjeux sont élevés, il est essentiel de comprendre comment à la fois les humains et les systèmes d'IA perçoivent la difficulté des décisions juridiques. L'objectif est de bâtir une confiance dans les systèmes d'IA qui aident avec les prédictions juridiques. Cependant, de nombreuses méthodes actuelles négligent les différences dans la façon dont les humains étiquettent les cas, qui peuvent varier énormément.

Cet article parle de la collecte de données sur les votes partagés des juges de la Cour européenne des droits de l'homme (CEDH). Les données collectées aideront à classifier les résultats juridiques plus précisément. Un accent particulier est mis sur la compréhension des désaccords entre juges et comment cela affecte les prédictions faites par les systèmes d'IA. Nous allons aussi proposer de nouvelles façons de mesurer et d'améliorer l'alignement entre les jugements humains et les prédictions de l'IA.

#Votes Partagés dans les Décisions Légales

La classification des résultats des affaires (CRA) est la tâche de prédire les résultats des affaires juridiques basés sur leurs descriptions. Même si c'est bien d'avoir une haute précision, comprendre à quel point un modèle est confiant dans ses prédictions est tout aussi important. C'est particulièrement vrai dans des domaines critiques comme le droit et la médecine, où des erreurs peuvent avoir de graves conséquences.

La calibration est une méthode utilisée pour voir si un modèle comprend ses propres performances. Elle vérifie si les probabilités prédites représentent à quel point une prédiction est susceptible d'être correcte. Les modèles peuvent aussi choisir de s'abstenir de faire une prédiction quand ils ne sont pas sûrs, ce qu'on appelle la classification sélective.

Les recherches actuelles en traitement du langage naturel (TLN) regardent principalement combien un modèle performe par rapport à la majorité humaine. Cependant, en étudiant les désaccords parmi les humains, on voit qu'il y a beaucoup de cas de variation d'étiquetage humain (VEH) que les modèles devraient aussi prendre en compte. La VEH représente les différentes façons dont les humains peuvent interpréter et classifier l'information. Reconnaître et accepter ces variations est essentiel pour construire une IA plus fiable.

L'objectif de ce travail est de montrer que les modèles doivent non seulement être conscients de leur propre incertitude, mais aussi être capables de voir quand les humains sont incertains. Cette double conscience vise à augmenter la confiance dans les systèmes d'IA.

Pour étudier cela, nous avons examiné de près les votes partagés au sein de la CEDH. Les votes partagés reflètent de véritables désaccords parmi les juges, nous offrant un moyen d'analyser les sources de ces différences.

#Le Jeu de Données SV-CEDH

Pour collecter des informations sur les votes partagés, nous avons extrait des données d'une base de données publique connue sous le nom de HUDOC. Les données se concentrent sur des articles spécifiques des lois sur les droits humains. Nous avons effectué plusieurs rondes de contrôles qualité, améliorant considérablement notre processus de collecte de données.

Le jeu de données créé, connu sous le nom de SV-CEDH, contient 11 000 descriptions de cas qui incluent des données sur les lois censées avoir été violées et comment les juges ont voté. Ce jeu de données est divisé en groupes d'entraînement, de validation et de test.

En analysant les désaccords parmi les juges, nous avons découvert que de nombreux cas, environ 60%, avaient des votes dissidents uniques. Cela signifie que dans la plupart des cas, un seul juge différait de la majorité. C'est important pour comprendre comment les décisions sont prises dans les tribunaux.

#Sources de Désaccord

Les désaccords parmi les juges peuvent provenir de plusieurs facteurs :

1. Ambiguïté Réelle : Cela fait référence à des cas où les lois ne sont pas claires ou ouvertes à plusieurs interprétations. Les termes juridiques peuvent être larges, permettant aux juges de justifier leurs décisions de différentes manières.

2. Instantiation de Texte : Cela couvre les problèmes qui surgissent de la façon dont les documents de cas sont rédigés. Certains jugements juridiques peuvent être flous ou inconsistants, menant à des interprétations différentes parmi les juges.

3. Sensibilité au Contexte : Les circonstances spécifiques entourant un cas influencent les décisions des juges. Certains facteurs sociaux et politiques peuvent compliquer la façon dont les lois sont appliquées.

4. Variabilité des Juges : Les juges viennent de différents horizons et cultures, ce qui peut affecter leurs décisions. Cette diversité peut entraîner des variations dans la façon dont ils interprètent les lois et les faits.

Nous avons visé à catégoriser ces sources de désaccord pour mieux comprendre les processus de décision des juges.

#Méthodes d'Évaluation

Nous avons utilisé diverses méthodes pour évaluer comment les désaccords des juges étaient liés à la performance des modèles d'IA dans la prédiction des résultats des affaires. Cela a impliqué de regarder l'alignement entre les prédictions des modèles et les votes réels émis par les juges.

Pour évaluer à quel point un cas pourrait être difficile à prédire pour un modèle, nous avons examiné certaines caractéristiques des cas comme des proxies. Par exemple, nous avons regardé si le cas était considéré comme un "cas clé" qui menait souvent à des désaccords.

Nous avons trouvé que les cas impliquant des demandeurs vulnérables ou ceux associés à des pays de haute réputation entraînaient souvent des désaccords plus importants parmi les juges. Le contexte politique et social de ces cas peut rendre les décisions plus complexes.

#Évaluation du Modèle

Dans notre étude, nous avons examiné à quel point les modèles pouvaient prédire efficacement les résultats des affaires en utilisant une méthode connue sous le nom de classification des résultats des affaires (CRA). Nous avons utilisé un modèle spécifique, LegalBERT, qui est basé sur l'architecture BERT et adapté pour les documents juridiques.

Nous nous sommes concentrés sur la performance de ce modèle lors de l'évaluation des résultats des affaires et de la difficulté des prédictions. Les résultats ont montré que les modèles performaient mieux sur les cas avec des décisions unanimes par rapport à ceux avec des votes partagés.

De plus, nous avons exploré à quel point les modèles étaient bien calibrés. La calibration est cruciale pour comprendre à quel point un modèle est confiant dans ses prédictions. Nous avons trouvé que les modèles avaient besoin d'améliorations pour comprendre quand l'incertitude humaine était présente.

#Résultats sur la Calibration

Les études de calibration évaluent principalement à quel point les probabilités prédites d'un modèle correspondent aux résultats réels. Dans notre cas, nous avons constaté que les modèles formés sur les cas de votes partagés montraient un désalignement significatif avec les votes humains. Cet écart indique un besoin de meilleurs modèles qui tiennent compte de la façon dont les humains prennent des décisions juridiques.

Nous avons testé différentes méthodes pour améliorer la calibration, notamment le Temperature Scaling et l'entraînement avec Soft Loss Function. Ces méthodes visaient à aider les modèles à mieux aligner leurs prédictions avec les jugements humains.

Dans l'ensemble, bien que nous ayons trouvé certaines améliorations, les modèles avaient encore du mal à refléter avec précision les nuances des décisions des juges, en particulier pour les cas de votes partagés.

#Conclusion

Cette étude souligne la nécessité de considérer le désaccord humain lors de la formation de l'IA pour les tâches juridiques. Le nouveau jeu de données SV-CEDH aidera les chercheurs à comprendre comment les votes partagés des juges affectent les prédictions des résultats des affaires.

Pour l'avenir, il est essentiel d'explorer plus de façons d'améliorer les performances des modèles en alignement avec le comportement humain. Ce travail vise à ouvrir la voie à des applications d'IA plus fiables dans le domaine juridique.

En résumé, reconnaître la diversité des jugements humains et incorporer cette compréhension dans les modèles d'IA peut considérablement améliorer leur performance dans des domaines critiques comme le droit. En reconnaissant et en abordant les complexités et incertitudes présentes dans la prise de décision juridique, nous pouvons construire des systèmes d'IA plus forts et plus fiables qui servent mieux la société.