Lutter contre la désinformation avec Supernotes
Supernotes vise à améliorer l'efficacité de la vérification des faits par la communauté.
Soham De, Michiel A. Bakker, Jay Baxter, Martin Saveski
― 4 min lire
Table des matières
La désinformation est un gros souci en ligne, entraînant plein de conséquences négatives. Pour y faire face, plusieurs stratégies sont testées. Une méthode prometteuse, c'est le fact-checking collaboratif. Cela permet aux utilisateurs lambda d'aider à vérifier les infos. Des études montrent que des groupes de gens du quotidien peuvent être aussi efficaces que des fact-checkers pros.
Un exemple notable de cette approche, c’est les Community Notes de X. Ce système permet aux utilisateurs d'ajouter des notes à des posts qui peuvent être trompeurs. Les notes jugées utiles par un large éventail d'utilisateurs sont ensuite affichées sous le post d'origine. Cependant, beaucoup de notes pertinentes ne reçoivent pas assez de soutien pour être montrées. Ça met en lumière le besoin d'un meilleur moyen de mettre en avant les infos utiles.
Développement des Supernotes
Pour combler cette lacune, on propose les "Supernotes". Ce sont des notes générées par IA qui combinent plusieurs Notes de la communauté existantes. Elles sont conçues pour encourager l'accord entre différents utilisateurs. Notre cadre utilise un grand modèle de langage (LLM) pour créer plein d'options de Supernotes à partir des notes de la communauté. Ces options sont ensuite évaluées à l'Aide d'un Modèle de notation formé sur les évaluations passées des notes de la communauté. Ça aide à garantir que les notes sélectionnées sont susceptibles d'être vues comme utiles par un public varié.
On a testé notre méthode avec un groupe de participants qui ont comparé les Supernotes aux meilleures notes existantes pour divers posts. Les résultats montrent que les Supernotes étaient jugées plus utiles, les participants les choisissant plutôt que les autres 75,2 % du temps.
Système de Community Notes
Les Community Notes permettent aux utilisateurs d'annoter des posts et de noter l'utilité de ces annotations. Seules les notes qui atteignent un certain seuil d'utilité sont affichées. Bien que beaucoup de notes contiennent des infos précieuses, la plupart ne sont pas montrées à cause d'évaluations insuffisantes de la part d'un public diversifié.
Échecs courants des notes
On a trouvé deux raisons principales pour lesquelles beaucoup de bonnes notes n'arrivent pas à percer. D'abord, certaines notes peuvent véhiculer des points de vue biaisés, les rendant moins attrayantes pour un public plus large. Ensuite, des contextes importants sont souvent éparpillés dans plusieurs notes, empêchant une seule note de donner une image complète.
Cadre des Supernotes
Notre système pour créer des Supernotes implique deux étapes principales : générer des Supernotes candidates et les noter.
Génération de candidates
Dans la première étape, on utilise un LLM pour produire plein de Supernotes candidates basées sur le post original et les notes de la communauté existantes. Le but est de créer une variété de notes qui pourront ensuite être notées. On pousse le modèle avec des détails sur ce qui fait une bonne Supernote, comme être claire et impartiale.
Notation des candidates
La deuxième étape consiste à simuler un jury d'utilisateurs pour noter les Supernotes générées. On utilise un modèle d'utilité personnalisé (PHM) formé sur les notations passées pour prédire comment chaque juré noterait les notes. Ces prédictions sont ensuite agrégées pour donner un score global d'utilité.
Les tests internes et les évaluations externes ont montré que les notes de la communauté ont un impact significatif sur la façon dont les utilisateurs interagissent avec du contenu trompeur. Quand une note de la communauté est présente, un post est moins susceptible d’être partagé ou aimé.
Évaluation humaine
On a mené une expérience avec des participants qui ont noté les Supernotes et les notes existantes sur plusieurs posts. Les résultats ont confirmé que les Supernotes étaient jugées significativement plus utiles.
Notations d'utilité
Quand les participants ont noté les notes, les Supernotes ont reçu des scores plus élevés par rapport aux notes existantes. Ça se voyait aussi quand on demandait aux participants quelle note ils trouvaient plus utile.
Conclusion
Notre étude montre que les Supernotes améliorent significativement l'utilité des notes de la communauté dans la lutte contre la désinformation. Les Supernotes synthétisent l'info de manière accessible tout en respectant des principes efficaces de fact-checking. Des recherches futures pourraient explorer l'intégration de sources externes dans ce cadre pour des résultats encore meilleurs.
Remerciements
Ce travail n'aurait pas été possible sans le soutien de l'Université de Washington et les contributions de divers participants à nos études.
Titre: Supernotes: Driving Consensus in Crowd-Sourced Fact-Checking
Résumé: X's Community Notes, a crowd-sourced fact-checking system, allows users to annotate potentially misleading posts. Notes rated as helpful by a diverse set of users are prominently displayed below the original post. While demonstrably effective at reducing misinformation's impact when notes are displayed, there is an opportunity for notes to appear on many more posts: for 91% of posts where at least one note is proposed, no notes ultimately achieve sufficient support from diverse users to be shown on the platform. This motivates the development of Supernotes: AI-generated notes that synthesize information from several existing community notes and are written to foster consensus among a diverse set of users. Our framework uses an LLM to generate many diverse Supernote candidates from existing proposed notes. These candidates are then evaluated by a novel scoring model, trained on millions of historical Community Notes ratings, selecting candidates that are most likely to be rated helpful by a diverse set of users. To test our framework, we ran a human subjects experiment in which we asked participants to compare the Supernotes generated by our framework to the best existing community notes for 100 sample posts. We found that participants rated the Supernotes as significantly more helpful, and when asked to choose between the two, preferred the Supernotes 75.2% of the time. Participants also rated the Supernotes more favorably than the best existing notes on quality, clarity, coverage, context, and argumentativeness. Finally, in a follow-up experiment, we asked participants to compare the Supernotes against LLM-generated summaries and found that the participants rated the Supernotes significantly more helpful, demonstrating that both the LLM-based candidate generation and the consensus-driven scoring play crucial roles in creating notes that effectively build consensus among diverse users.
Auteurs: Soham De, Michiel A. Bakker, Jay Baxter, Martin Saveski
Dernière mise à jour: 2024-11-09 00:00:00
Langue: English
Source URL: https://arxiv.org/abs/2411.06116
Source PDF: https://arxiv.org/pdf/2411.06116
Licence: https://creativecommons.org/licenses/by/4.0/
Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.
Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.