Classer des manifestes politiques selon les contextes

Les manifestes des partis politiques jouent un rôle super important dans les élections, en décrivant les principaux objectifs et promesses de chaque parti. Ces documents aident les électeurs à comprendre ce que chaque parti représente, les guidant dans leurs choix pendant les élections. Analyser les manifestes politiques peut aussi révéler des tendances sur la façon dont les partis s'adaptent après les élections, comment ils forment des coalitions, et s'ils empruntent des idées à des partis étrangers qui cartonnent. Mais l'un des gros défis pour les chercheurs, c'est le temps et l'effort nécessaires pour annoter ces manifestes.

#Le défi de l'Annotation

Annoter de grands ensembles de données de manifestes politiques, c'est du boulot. Les annotateurs humains doivent lire et étiqueter chaque document selon différents thèmes. Ça peut prendre un temps fou, souvent ça ralentit la recherche. Une façon de régler ce problème, c'est le transfert de domaine, qui permet aux chercheurs d'utiliser des données déjà annotées dans différents contextes. Mais on sait pas encore vraiment à quel point cette méthode est fiable quand on passe d'un endroit à un autre, d'une langue à l'autre, ou d'un style d'écriture à un autre.

#Ce qu'on voulait faire

Notre recherche avait pour but d'analyser une énorme collection de manifestes politiques pour voir à quel point on peut les classer quand on les transfère à travers différents facteurs comme la langue, le temps et le genre. On a utilisé une grande base de données contenant des manifestes de plus de 1 000 partis politiques dans 50 pays, depuis 1945 jusqu'à aujourd'hui. L'objectif, c'était de tester l'efficacité des modèles de langage modernes, comme BERT et sa version plus petite, DistilBERT, pour classer ces documents.

#Le projet des manifestes

Le Projet des manifestes propose une base de données riche sur les agendas politiques. Des annotateurs humains de divers horizons ont contribué à cette ressource, en découpant les manifestes en petites parties et en les catégorisant sous 54 thèmes. Ces thèmes ont ensuite été regroupés en huit sujets plus larges. Automatiser le processus d'annotation pourrait faire gagner un temps fou et améliorer l'efficacité de la recherche.

#Méthodes de Classification

Pour classifier les quasi-sentences des manifestes politiques en sujets spécifiques, on a exploré plusieurs méthodes de traitement du langage naturel (NLP). L'approche de base utilisait TF-IDF combiné avec une régression logistique, une méthode courante dans la classification de textes. En plus, on a utilisé plusieurs versions de BERT, un modèle de langage à la pointe de la technologie conçu pour comprendre le langage naturel plus efficacement.

#Notre processus de recherche

D'abord, on a passé en revue des études existantes pour voir comment d'autres ont abordé la classification inter-domaines. On a extrait des manifestes de la base de données du Projet des manifestes et consolidé nos ensembles de données. Ça comprenait différentes années et pays, permettant une analyse plus approfondie des textes politiques au fil du temps.

#Mise en place expérimentale

On a mis en place des expériences pour examiner à quel point nos modèles pouvaient classifier des textes quand on les transférait à travers des genres, des temps et des pays différents. En général, les chercheurs évaluent comment les modèles gèrent les textes issus de la même distribution. Dans notre cas, on a regardé spécifiquement comment les modèles se débrouillaient face à des données provenant de contextes différents.

#Classification inter-domaines

La classification inter-domaines signifie appliquer un modèle entraîné sur un type de données à un autre. Ça peut impliquer divers facteurs, comme différentes langues, sujets ou genres. Notre étude cherchait à voir à quel point les modèles pouvaient transférer leurs connaissances sur ces différentes dimensions.

#Transfert de genre

Pour le transfert de genre, on a testé des modèles entraînés sur des manifestes de partis pour classifier des discours du Parlement néo-zélandais. Ça nous a aidé à voir si les modèles pouvaient adapter les styles d'écriture et les thèmes d'une forme de communication politique à une autre.

#Transfert temporel

Pour le transfert temporel, nos modèles ont été entraînés sur des manifestes de n'importe quelle année avant 2018 et ensuite testés sur ceux de 2019 à 2022. C'était particulièrement important car les contextes politiques peuvent changer énormément à cause de problèmes émergents comme la pandémie de COVID-19.

#Transfert de pays

Pour le transfert de pays, on a évalué comment nos modèles se débrouillaient avec des manifestes de différents pays parlant la même langue. On voulait voir si des différences culturelles et politiques affectaient la précision des modèles dans la classification des textes.

#Résultats et constats

En analysant la performance de nos modèles, on a constaté que BERT surpassait souvent des modèles plus simples comme TF-IDF et la régression logistique. DistilBERT a montré des résultats compétitifs avec des coûts computationnels plus bas, ce qui en fait un choix pratique pour nos expériences suivantes.

#Performance intra-domaine

Dans nos expériences, on a noté des différences significatives entre la performance des modèles lorsqu'ils étaient entraînés et testés sur des données provenant de la même source par rapport à des domaines différents. En général, les modèles ont bien fonctionné quand les données provenaient du même type d'écriture ou de la même période.

#Performance de transfert de genre et de temps

On a observé que le transfert entre genres, comme des manifestes aux discours, était plus difficile. En revanche, les modèles se débrouillaient mieux lors du transfert de temps, ce qui indique que des thèmes politiques fondamentaux pourraient rester stables malgré des contextes changeants.

#Performance à travers les langues et les pays

Quand on a regardé la performance à travers différents pays, on a trouvé des variations notables. Même parmi des pays partageant une langue, les styles de communication politique étaient assez différents pour impacter la précision de classification.

#Discussion et limites

Notre étude a mis en avant les forces de l'utilisation des techniques NLP modernes pour classifier des textes politiques. Pourtant, des défis restent, surtout quand on applique ces méthodes à des contextes très différents. La performance variable suggère que bien que les modèles puissent s'adapter, ils pourraient avoir besoin de plus de perfectionnement pour refléter avec précision les nuances de chaque contexte.

#Conclusion

En résumé, notre recherche a démontré que les modèles de langage modernes pouvaient efficacement classifier des manifestes politiques et des discours, même face à des langues, des temps et des genres différents. Cependant, la performance variait selon le contexte, indiquant qu'il reste du boulot à faire pour améliorer leur adaptabilité.

#Directions futures

En regardant vers l'avenir, on propose d'explorer davantage l'utilisation de nouveaux modèles de langage pour s'attaquer à ces tâches de classification. Alors que de nouvelles données continuent d'émerger du Projet des manifestes, des recherches continues pourraient fournir des informations encore plus riches sur la communication politique dans le monde.