Automatisation de la vérification des faits : Défis et solutions

La montée de fausses informations en ligne a rendu important d'automatiser certaines parties du processus de vérification des faits. Une partie clé de ce processus est de déterminer quelles déclarations doivent être vérifiées. Cette tâche s'appelle la détection de revendications (CD). Il y a un autre niveau à cela, connu sous le nom de détection de pertinence des revendications (CW), qui examine si une revendication vaut la peine d'être vérifiée en fonction de directives spécifiques.

#Qu'est-ce que la détection de revendications et la détection de pertinence des revendications ?

La vérification des faits se fait généralement sur des revendications. Pour qu'une revendication soit considérée pour une vérification, elle doit être factuelle, c'est-à-dire qu'elle se rapporte à des informations vraies, et elle doit être pertinente, ce qui signifie qu'il est important pour la société de savoir si c'est vrai ou non. Les tâches de recherche de revendications factuelles et d'identification de celles qui valent la peine d'être vérifiées s'appellent respectivement détection de revendications et détection de pertinence des revendications.

#Les défis de la détection de revendications et de la pertinence des revendications

Ces tâches sont difficiles pour plusieurs raisons. D'abord, il est difficile de définir clairement ce qui fait qu'une revendication est factuelle ou digne d'être vérifiée. Il existe différents types de revendications factuelles, et les séparer des opinions peut être complexe. De plus, ce qui est considéré comme pertinent peut changer selon le Contexte et le moment, rendant cela subjectif. Cela peut impliquer de voir à quel point la revendication est pertinente pour le public ou son impact potentiel.

En outre, comprendre le contexte est crucial. Savoir ce qui a été dit avant, qui l'a dit, et d'autres détails de fond aide à déterminer si une revendication est factuelle et vaut la peine d'être vérifiée.

#Approches pour relever les défis

Traditionnellement, les gens ont utilisé l'apprentissage supervisé et des modèles de langage pré-entraînés pour s'attaquer à ces tâches. Cependant, rassembler des ensembles de données étiquetées nécessaires pour l'entraînement peut être difficile. Ces ensembles de données doivent souvent correspondre à des langues, des sujets et des genres spécifiques, ce qui peut coûter cher à produire et peut nécessiter d'être refait si les critères changent.

Les modèles de langage (LLMs) offrent une alternative prometteuse puisque qu'ils peuvent bien fonctionner avec peu ou pas d'exemples de chaque tâche. Les groupes de vérification des faits ont développé des directives pour prioriser les revendications à vérifier. Utiliser quelques exemples dans les prompts peut aider à transférer cette connaissance au modèle.

#Ce que cette étude examine

Cette étude évalue à quel point les LLMs réussissent dans la détection de revendications et la détection de pertinence en utilisant peu ou zéro exemple. Elle examine cinq ensembles de données provenant de différents domaines, chacun avec son propre ensemble de critères pour la vérification. L'accent est mis sur deux questions principales : comment traduire au mieux les directives en prompts pour les modèles et combien de contexte est nécessaire pour chaque revendication.

Pour répondre à ces questions, l'étude teste différents niveaux de détail dans les prompts et la quantité de contexte donnée au modèle. Les résultats indiquent que le meilleur niveau de détail varie selon le domaine, ajouter plus de contexte n'aide pas nécessairement, et les scores de confiance des modèles peuvent classer de manière fiable les revendications selon leur valeur de vérification.

#Automatisation de la vérification des faits

L'automatisation de la vérification des faits devient de plus en plus important en raison de la grande quantité d'informations et de désinformation générées chaque jour. Les revendications sont au cœur de la vérification des faits. Pour justifier une vérification des faits, une revendication doit être factuelle et significative. Les tâches d'identification de ces revendications sont étroitement liées au travail effectué par les organisations de vérification des faits.

#La complexité de la détection de revendications et de la pertinence

La détection de revendications et la détection de pertinence viennent avec leurs propres obstacles. Les définitions de revendications factuelles et de pertinence ne sont pas simples. Pour mieux définir la factualité, les chercheurs ont proposé des catégorisations des revendications factuelles et ont établi des limites pour différencier les faits des opinions.

Déterminer la pertinence d'une revendication est plus compliqué puisque cela dépend de facteurs subjectifs et contextuels. Des critères spécifiques doivent être développés pour évaluer si une revendication est pertinente pour le public ou a le potentiel de causer du tort. Parallèlement, comprendre la situation entourant une revendication, comme les discussions précédentes et qui est l'intervenant, est essentiel pour évaluer sa vérité et son importance.

#Solutions aux défis

Ces défis ont été abordés par des approches comme l'apprentissage supervisé traditionnel et le réglage de modèles de langage déjà entraînés. Mais, comme mentionné, la collecte d'ensembles de données étiquetées est un obstacle important. Ces ensembles de données nécessitent un alignement avec la langue et le domaine spécifiques, ce qui peut être une tâche coûteuse et chronophage.

Les modèles de langage qui nécessitent moins d'exemples étiquetés peuvent être d'une grande aide. Les organisations de vérification des faits ont établi des principes pour prioriser les revendications, et utiliser des prompts à peu d'exemples peut permettre d'appliquer ces principes directement dans les modèles.

#Aperçu de l'étude

L'étude examine l'efficacité des prompts zéro et peu d'exemples lorsqu'ils sont utilisés avec des modèles de langage pour les tâches de détection de revendications et de pertinence des revendications. Elle teste cinq ensembles de données, chacun avec des critères différents définis dans leurs directives. Les domaines d'intérêt incluent la meilleure façon de transmettre les critères dans les prompts et la quantité de contexte à inclure.

En termes de détail des prompts, l'étude mesure comment la performance varie avec des prompts zéro exploitation comparés à des prompts détaillés contenant des exemples. Elle examine également comment l'ajout d'informations contextuelles aux prompts influence les modèles.

#Résultats sur le détail des prompts et le contexte

L'étude révèle que le meilleur niveau de détail dans les prompts dépend du domaine. Un prompt plus simple pourrait ne pas fournir suffisamment d'informations, tandis qu'un prompt trop détaillé peut rendre la tâche confuse pour le modèle. Les résultats montrent que bien que l'exactitude prédictive pour la Détection des revendications soit généralement plus élevée que pour la pertinence des revendications, le niveau idéal de détail n'est pas uniforme à travers les ensembles de données.

Fait intéressant, ajouter plus de contexte, comme des revendications précédentes ou des informations sur l'intervenant, n'améliore pas la performance du modèle. Cela pourrait être dû à la façon spécifique dont les prompts ont été structurés ou parce que le contexte n'était pas nécessaire pour ces ensembles de données particuliers.

#Classement des revendications selon leur importance

Étant donné les ressources limitées, les organisations de vérification des faits ont créé des systèmes pour prioriser les revendications en fonction de leur importance. Les chercheurs ont testé si les prompts LLM pouvaient classer efficacement les revendications selon leur pertinence. Ils ont fait cela en utilisant les scores de confiance du modèle comme mesure de la valeur d'une revendication.

La fiabilité de ce classement dépend de la précision des prédictions du modèle. L'étude montre que les prompts qui génèrent une meilleure précision prédictive ont également tendance à produire des classements fiables.

#Conclusion

À travers cette étude, il est clair que l'utilisation de modèles de langage pour détecter des revendications et évaluer leur pertinence peut donner des résultats prometteurs. Le niveau de détail requis dans les prompts varie selon les domaines, et l'ajout d'informations contextuelles ne semble pas améliorer l'exactitude. Pour les modèles qui performent bien, leurs scores de confiance peuvent être utilisés pour générer des classements fiables des revendications selon leur importance pour la vérification des faits.

#Limitations et travaux futurs

Les ensembles de données utilisés dans les expériences ne provenaient pas d'organisations de vérification des faits réelles, ce qui rend important de comparer les résultats avec des données officielles dans des recherches futures. L'étude a également utilisé uniquement des ensembles de données en anglais, malgré le besoin de traiter la désinformation dans diverses langues.

Les résultats mitigés de certains ensembles de données soulèvent des questions sur la façon de peaufiner davantage les critères et les prompts. Dans l'ensemble, cette recherche met en évidence à la fois le potentiel et les défis de l'automatisation de la vérification des faits en utilisant des modèles de langage modernes.