Améliorer la classification des textes juridiques avec des données limitées

Cet article se concentre sur comment classifier des textes juridiques, surtout quand on a pas beaucoup de données étiquetées. Le problème survient souvent quand il y a peu d'exemples pour certaines catégories, ce qui peut réduire la précision des résultats. Pour y remédier, on va jeter un coup d'œil à deux approches principales pour améliorer la classification : une appelée SetFit et une méthode classique de finetuning. Les deux visent à classifier des dispositions légales, qui sont des règles ou clauses spécifiques trouvées dans des documents juridiques. En plus, on va examiner comment interpréter les choix que font les modèles en termes de caractéristiques, ce qui aide à comprendre pourquoi un modèle a prédit une certaine catégorie.

#Le défi de la rareté des données juridiques

Trouver des données juridiques de bonne qualité et accessibles au public peut être difficile. Bien qu'il existe des ensembles de données, ils ne sont pas toujours équilibrés. Ça veut dire que certaines catégories ont beaucoup plus d'exemples que d'autres, ce qui peut affecter la performance d'un modèle quand il rencontre une catégorie avec moins d'exemples. Dans des situations où les données sont limitées, une solution courante est une stratégie appelée few-shot learning. Ça signifie entraîner un modèle avec un petit nombre d'exemples étiquetés et l'adapter à des tâches spécifiques.

#Viser une meilleure classification

Dans ce travail, on se fixe trois objectifs principaux. D'abord, on affûte un modèle appelé LegalBERT en utilisant un ensemble de données public, spécifiquement destiné à classifier des dispositions juridiques. On compare la performance de la méthode d'apprentissage contrastif (SetFit) avec celle de la méthode de finetuning classique. Ensuite, on utilise aussi une version équilibrée du même ensemble de données pour voir si ça a un impact. Enfin, on veut évaluer la fiabilité du modèle en analysant les caractéristiques qu'il utilise pour faire ses prédictions.

#Travaux antérieurs

La classification de textes juridiques s'est souvent appuyée sur des modèles comme BERT. Bien que ces modèles fonctionnent bien, ils ne tiennent pas compte du problème des données limitées pour des applications spécifiques. Certaines études ont exploré des méthodes de finetuning plus efficaces qui pourraient aider avec ce problème, dont SetFit. Cette approche utilise un petit nombre de paires de textes pour entraîner le modèle d'une manière qui l'aide à mieux apprendre même quand il y a peu d'exemples disponibles.

#Qu'est-ce que SetFit ?

SetFit est une méthode qui aide à affiner les modèles d'une manière qui ne dépend pas de prompts ou d'instructions supplémentaires. Elle génère des exemples positifs et négatifs à partir des données existantes pour créer un plus grand ensemble d'entraînement. La méthode implique deux étapes clés : d'abord, le modèle est entraîné en utilisant une approche contrastive, et ensuite, un classificateur est formé sur cette formation initiale.

#Le processus d'entraînement

L'entraînement consiste à prendre un petit ensemble d'exemples étiquetés et à générer des paires de phrases. Pour chaque type d'étiquette, des paires positives sont créées à partir de phrases appartenant à cette étiquette, et des paires négatives sont créées à partir de phrases d'étiquettes différentes. Ça aide à augmenter la taille de l'ensemble de formation, même quand les exemples disponibles sont peu nombreux.

#Entraînement de la tête de classification

Après que le modèle a appris des paires, il encode les exemples d'entraînement étiquetés originaux pour créer une représentation unique pour chaque exemple. Ceci est ensuite utilisé pour former un classificateur qui prédit à quelle catégorie un nouvel exemple appartient lors de la phase d'inférence.

#Informations sur l'ensemble de données

L'étude utilise un ensemble de données public appelé LEDGAR. Cet ensemble a un nombre substantiel d'exemples d'entraînement, mais ils ne sont pas uniformément répartis entre les différentes étiquettes. Pour le test, un sous-ensemble plus petit d'exemples est sélectionné pour évaluer la performance des méthodes de classification comparées.

#Équilibrer les données

Pour aborder le problème de déséquilibre dans l'ensemble de données original, on a sélectionné les étiquettes les plus courantes et ajusté le nombre d'échantillons en conséquence. Pour les étiquettes qui avaient beaucoup d'exemples, on les a réduites à un nombre spécifique, et pour celles qui en avaient moins, on a cherché des données supplémentaires pour créer un ensemble de données plus équilibré.

#Configuration expérimentale

La façon dont on affine les modèles est cruciale pour les résultats. On a gardé les mêmes réglages pour les deux méthodes afin d'assurer des comparaisons valides. Notamment, on a utilisé un tour d'entraînement pour les deux modèles et surveillé des métriques spécifiques pour évaluer leur performance.

#Résultats : Comparaisons de F1-Score

Les résultats montrent que SetFit a atteint un F1-score plus élevé par rapport à la méthode de finetuning classique, même avec moins d'exemples d'entraînement. C'est particulièrement évident dans les cas où l'ensemble de données était déséquilibré. Le F1-score est une mesure qui aide à évaluer la précision d'un modèle, surtout dans des situations où les classes ne sont pas également représentées.

#Évaluation de la précision

En comparant la précision globale des deux méthodes sur différents ensembles de données, les modèles ont montré des performances similaires. Cependant, SetFit a démontré un meilleur départ dans des scénarios avec des données limitées. Cela suggère que sa méthode d'entraînement unique offre un avantage dans de telles situations.

#Interpréter les décisions du modèle avec LIME

Dans le domaine juridique, pouvoir faire confiance aux décisions prises par des systèmes d'IA est essentiel. Une façon de construire cette confiance est de fournir des explications pour les prédictions du modèle. Différentes méthodes existent pour expliquer les prédictions, y compris LIME, qui se concentre sur la création de modèles interprétables qui restent fidèles au classificateur original.

#Caractéristiques positives et négatives

Pour les tâches de classification de texte, LIME se concentre sur les mots inclus dans les dispositions juridiques. Les caractéristiques qui contribuent positivement aux prédictions sont connues comme des caractéristiques positives, tandis que celles qui nuisent aux prédictions sont appelées caractéristiques négatives. En analysant ces caractéristiques avec LIME, on peut obtenir des aperçus sur comment les modèles prennent leurs décisions.

#Comparer SetFit et les modèles classiques

En examinant les caractéristiques identifiées par les deux modèles pour des étiquettes spécifiques, on peut voir comment SetFit a tendance à mettre l'accent sur des caractéristiques qui sont intuitivement plus pertinentes dans le contexte juridique. Cela était particulièrement évident en regardant les caractéristiques qui étaient pondérées positivement, comme les mots-clés liés aux dispositions juridiques en cours de classification.

#Conclusion

Cette étude met en avant l'importance de l'approche adoptée pour classifier des textes juridiques, surtout dans les situations où les données étiquetées sont rares. Elle montre que l'utilisation de méthodes d'apprentissage contrastif comme SetFit peut donner de meilleurs résultats par rapport au finetuning classique, surtout en ce qui concerne les caractéristiques sur lesquelles les modèles s'appuient pour faire des prédictions. Les résultats soutiennent l'idée que des données de qualité et les bonnes méthodologies peuvent avoir un impact significatif sur le succès de la classification de textes juridiques.

#Travaux futurs

En regardant vers l'avenir, il pourrait être bénéfique d'explorer d'autres hyperparamètres de la méthode SetFit, ainsi que d'appliquer différentes techniques d'explicabilité telles que SHAP. De plus, consulter des experts juridiques peut aider à déterminer si les caractéristiques identifiées par ces modèles sont appropriées pour des applications dans le monde réel. En abordant ces domaines, on pourrait encore améliorer les capacités des modèles conçus pour la classification de textes juridiques, menant finalement à des systèmes d'IA plus fiables et efficaces dans le domaine légal.