Exploiter les modèles linguistiques pour des insights ESG

Les facteurs Environnementaux, Sociaux et de Gouvernance (ESG) sont super importants pour les entreprises et leur fonctionnement. Ces dernières années, beaucoup de boîtes se sont rendu compte que se concentrer sur ces enjeux peut les aider à réussir sur le long terme. De bonnes pratiques ESG peuvent mener à de meilleurs résultats financiers. Des études montrent que les entreprises avec de solides stratégies ESG ont souvent de meilleures performances financières. Donc, connaître et appliquer les principes ESG est essentiel pour les entreprises qui veulent rester solides et durables.

#Le rôle du Traitement du langage naturel dans l'ESG

Le traitement du langage naturel (NLP) est un outil qui aide à analyser les données textuelles. Il peut être super utile pour gérer les informations ESG. Grâce au NLP, on peut examiner de grosses quantités de documents écrits, comme des articles de presse, pour avoir une idée plus claire de la performance des entreprises dans leurs efforts ESG. Cette méthode permet de recueillir des infos sur l'impact des entreprises sur la société à partir de leur performance ESG.

Encouragés par ces avantages, des chercheurs ont participé à une compète appelée FinNLP-2023. Le but était de classifier des articles de presse sur des enjeux ESG selon des directives spécifiques. L'équipe s'est concentrée sur deux langues : l'anglais et le français.

#La tâche partagée : identification multilingue des enjeux ESG

Le concours avait pour objectif de classer les articles de presse liés à l'ESG en 35 enjeux clés définis par certaines directives. Le jeu de données utilisé incluait des articles en anglais et en français, avec au total 1 119 articles d'entraînement en anglais et 1 200 en français. Il y avait aussi 300 articles de test pour chaque langue. L'objectif principal était de trouver les meilleurs Modèles capables d'identifier ces enjeux dans les articles.

#Notre approche de classification ESG

Le but principal était de créer un modèle solide qui puisse bien fonctionner avec des données limitées. Comme la tâche avait juste un petit échantillon et une distribution inégale des étiquettes, entraîner directement sur les données disponibles n'était pas suffisant. Pour améliorer la situation, l'équipe a utilisé trois modèles de langage connus : Pythia, CerebrasGPT et OPT. Ils ont choisi des versions plus petites de ces modèles pour faire face à des limites de calcul.

Pour augmenter le volume de données disponibles, ils ont utilisé une technique appelée GPT3Mix. Cette approche génère des échantillons de texte supplémentaires basés sur des articles existants, permettant de créer un plus grand ensemble d'entraînement. Les descriptions des enjeux ESG étaient incluses pour garantir que les nouvelles données correspondaient aux thèmes requis.

#Classification Zero-Shot

La tâche incluait deux sous-tâches en anglais et en français, chacune avec 35 catégories de classification. Cependant, déterminer les frontières de ces catégories était délicat en s'appuyant uniquement sur les données d'entraînement. Pour y remédier, ils ont employé la classification zero-shot. Cette méthode utilisait des articles de presse collectés sur Internet, tout en s'assurant qu'aucun article déjà vu n'influe sur la classification.

Pour enrichir davantage l'entraînement, ils ont traduit les articles en anglais en français à l'aide d'un service de traduction. Cela a permis d'ajouter des données pour entraîner les modèles efficacement.

#Expérimentation et résultats

Les chercheurs ont mené leurs expériences en deux phases. La première était axée sur l'identification des modèles les plus efficaces. Dans la seconde, ils ont cherché à combiner leurs résultats pour créer un modèle performant.

Pour la première phase, ils ont testé divers modèles de langage connus, y compris ceux spécialement conçus pour le texte financier. Ils ont également inclus des modèles capables de traiter des tâches en anglais et en français. Pour garantir une évaluation équitable, ils ont utilisé une méthode d'échantillonnage spéciale pour créer un ensemble de validation. Ils se sont concentrés sur le score F1 pondéré pour mesurer la performance, écartant tout modèle ayant un score en dessous d'un certain seuil.

Lors de ce premier round d'expérimentations, ils ont constaté que l'augmentation des données menait à de meilleurs résultats. Les meilleurs modèles entraînés sur des données augmentées ont obtenu des performances bien supérieures à ceux formés uniquement sur l'ensemble de données original.

Pour la tâche en anglais, le modèle nommé "roberta-base-mix" a atteint le meilleur score. Pour la tâche en français, "mdeberta-mix" a dominé la performance. Cela a montré que l'Augmentation de données était cruciale pour améliorer la performance des modèles.

#Second focus d'expérimentation

La seconde phase des expérimentations avait pour objectif d'explorer davantage l'impact de la taille et de la robustesse des modèles. Ils ont comparé des versions plus petites et plus grandes des modèles performants du premier experiment.

Les résultats ont indiqué que les modèles plus grands avaient généralement de meilleures performances que leurs homologues plus petits, fournissant des résultats de classification plus cohérents. Les chercheurs ont également reconnu que les modèles avaient du mal à prédire certaines catégories, surtout face à moins d'exemples.

Pour résoudre ces problèmes, ils ont ajusté les ensembles de données pour inclure plus d'exemples pour les étiquettes difficiles, renforçant ainsi les capacités du modèle.

#Intégration des données et techniques d'ensemble

Dans leur recherche, l'équipe a cherché à améliorer la classification des enjeux ESG en utilisant divers ensembles de données et modèles. Ils ont expérimenté différentes combinaisons de données et de modèles pour trouver la configuration optimale.

Bien que les ensembles de données mixtes aient montré de bons résultats, ils n'ont pas dépassé ceux entraînés exclusivement sur des données traduites. Il est devenu clair que l'utilisation de sources de données diverses pouvait parfois ajouter du bruit, ce qui nuirait à la performance. Par conséquent, l'équipe a constaté que combiner les prédictions provenant de plusieurs modèles était bénéfique.

Pour la tâche en anglais, ils ont mis en œuvre une méthode appelée hard-voting, où ils ont combiné les sorties des modèles les mieux notés. Cette stratégie a produit les meilleures performances globales, avec des scores impressionnants tant dans les ensembles de validation que de test.

#Conclusion

Dans cette étude, l'équipe a présenté ses résultats du concours FinNLP-2023 axé sur l'identification des enjeux ESG dans plusieurs langues. En utilisant des modèles de langage avancés et des techniques comme l'augmentation de données et la classification zero-shot, ils ont obtenu des résultats notables. Ils ont terminé premiers dans la tâche en anglais et deuxièmes dans la tâche en français.

La recherche met non seulement en évidence l'efficacité des modèles de langage modernes dans la classification des enjeux ESG, mais elle jette aussi les bases pour des améliorations futures. Les futures recherches pourraient impliquer l'exploration de différents types de modèles, le traitement de plus de langues et l'utilisation de nouvelles techniques pour améliorer la précision de classification.

Avec ces avancées, l'étude contribue à une meilleure compréhension des sujets ESG et souligne l'importance de s'appuyer sur des modèles de langage avancés pour une identification efficace des enjeux ESG.