NewsUnfold: Un Nuovo Approccio al Bias nei Media
Un'app che mette in evidenza i pregiudizi linguistici negli articoli di notizie e raccoglie il feedback dei lettori.
― 8 leggere min
Indice
Il bias nei media è un problema che può portare a visioni unilaterali e influenzare come le persone prendono decisioni. Questa cosa è particolarmente comune sui siti web e sulle piattaforme social. Molti lettori non sono consapevoli di quanto il bias influisca sulle notizie che consumano. Quando le persone non riconoscono il bias nei media, possono avere visioni limitate su argomenti importanti. Questo rende necessario sensibilizzare sulla questione del bias nei media e trovare modi per rilevarlo automaticamente.
Per affrontare il bias nei media digitali, possiamo usare metodi di machine learning per individuare il bias automaticamente. Tuttavia, non è sempre facile. Una delle principali sfide è ottenere dati affidabili per addestrare questi modelli di machine learning. Una possibile soluzione è usare Feedback da persone reali per raccogliere dati migliori. Questo approccio ha avuto successo in altri ambiti.
In questo lavoro, presentiamo NewsUnfold, un'app per la lettura di notizie che evidenzia visivamente il bias linguistico negli articoli. Raccoglie anche feedback dai lettori per migliorare la qualità del dataset utilizzato per il rilevamento del bias. Il nostro obiettivo è dimostrare che un approccio incentrato sull'utente può aiutare a raccogliere informazioni utili rendendo anche il tutto facile da usare.
Come Funziona NewsUnfold
NewsUnfold è progettato per aiutare i lettori a riconoscere il bias negli articoli di notizie. L'app mette in evidenza frasi che potrebbero contenere bias e invita gli utenti a dare un feedback su queste evidenze. Il nostro studio mostra che utilizzare il feedback dei lettori migliora la qualità dei dati raccolti e aiuta il modello di machine learning a funzionare meglio.
Bias e il suo Impatto
Il bias nei media può manifestarsi in molti modi. Spesso riflette il background delle persone che creano le notizie, come la loro età, livello di istruzione o convinzioni. Quando il contenuto è in linea con le opinioni di un lettore, può sembrare neutrale, ma le opinioni contrarie spesso appaiono di parte. Sensibilizzare sul bias nei media permette a più persone di riconoscerlo in contesti diversi.
Quando le persone sanno di più sul bias nei media, possono identificarlo meglio a vari livelli, che sia una singola parola in una frase o il tono generale di un articolo. La maggior parte dei contenuti di notizie non è strettamente vera o falsa; piuttosto, spesso contiene diversi livelli di bias. Questo sottolinea la necessità di ricerche sul bias nei media.
Sfide nel Rilevamento Automatico del Bias nei Media
Sono stati sviluppati molti metodi per classificare automaticamente il bias nei media, ma affrontano sfide significative. Uno dei principali problemi è la qualità dei dati di addestramento utilizzati per questi sistemi. Spesso, i dataset sono piccoli e non rappresentativi. Mentre il crowdsourcing può essere un modo per raccogliere dati a basso costo, può portare a risultati inaffidabili quando sono coinvolti molti annotatori non esperti. D'altro canto, le valutazioni di esperti possono garantire accuratezza, ma possono essere costose.
Il mercato per dataset affidabili nel rilevamento del bias nei media è limitato. Non ci sono abbastanza dataset di alta qualità per addestrare i modelli in modo efficace. Sforzi precedenti in altri domini utilizzando sistemi di feedback da utenti reali non sono stati testati per il bias nei media, specialmente quando sono coinvolti metodi visivi.
Sviluppare NewsUnfold
Per affrontare il problema del rilevamento del bias nei media, abbiamo sviluppato un meccanismo di feedback all'interno di NewsUnfold. Questa applicazione web fornisce indizi visivi per indicare il bias linguistico mentre chiede agli utenti feedback per perfezionare il processo di rilevamento del bias.
Il Processo di Sviluppo
La creazione di NewsUnfold segue un processo in tre fasi. Prima, abbiamo testato due diversi meccanismi di feedback per vedere quale funzionava meglio per raccogliere dati. Secondo, abbiamo integrato uno di questi meccanismi in NewsUnfold. Infine, abbiamo usato NewsUnfold con una selezione di articoli per raccogliere feedback e compilare un dataset chiamato NewsUnfold Dataset (NUDA).
I nostri risultati hanno mostrato che il feedback degli utenti ha portato a un accordo del 90,97% con le annotazioni di esperti, che è significativamente superiore rispetto alla linea di base precedente. Inoltre, l'uso del feedback ha migliorato le prestazioni dei nostri classificatori-strumenti che rilevano automaticamente il bias nei media-del 2,49%.
Comprendere il Bias Linguistico
Il bias linguistico si verifica quando le scelte di parole sono fatte deliberatamente per sostenere o criticare un particolare gruppo o idea. Questo tipo di bias può manifestarsi in vari modi. Anche se raccogliere etichette binarie (cioè etichettare qualcosa come biased o non biased) semplifica il problema, può comunque presentare sfide.
Per capire meglio come i lettori interagiscono con il rilevamento del bias, abbiamo condotto uno studio che coinvolgeva partecipanti. Il feedback raccolto ha mostrato che molti utenti hanno trovato NewsUnfold facile da usare e utile per la loro lettura. I partecipanti hanno riferito di sentirsi più critici riguardo a ciò che leggevano e hanno avuto sentimenti positivi riguardo agli evidenziamenti visivi.
Importanza dei Meccanismi di Feedback
Raccogliere feedback dai lettori è fondamentale per sviluppare dataset di qualità superiore. Mentre testavamo i meccanismi di feedback, miravamo a migliorare la qualità del dataset rendendo il processo anche piacevole e coinvolgente per gli utenti. Il sistema di feedback consente ai lettori di concordare o discordare con le etichette di bias fornite dall'app.
Il Primo Studio
Nel nostro studio iniziale, abbiamo confrontato due meccanismi di feedback. Uno prevedeva l'evidenziazione visiva delle frasi biased, mentre l'altro presentava coppie di frasi per un confronto. I partecipanti potevano esprimere il loro accordo o disaccordo con le classificazioni. Abbiamo notato il loro livello di coinvolgimento, la qualità del feedback e quanto il loro feedback fosse in linea con le annotazioni degli esperti.
I risultati hanno rivelato che il meccanismo con evidenziamenti singoli ha attirato più feedback e si è dimostrato più efficiente nella raccolta dei dati senza compromettere la qualità.
Coinvolgimento dei Partecipanti
Lo studio ha coinvolto un totale di 240 partecipanti, con un tempo medio di partecipazione di circa 11 minuti. I nostri risultati hanno mostrato che la maggior parte dei partecipanti si è impegnata bene con i compiti, contribuendo in modo significativo alla raccolta dei dati.
I dati demografici dei partecipanti indicavano un gruppo diversificato, con orientamenti politici e background educativi vari.
Il feedback che abbiamo raccolto ha dimostrato che gli evidenziamenti attiravano l'attenzione e aiutavano molti utenti a comprendere meglio il bias. L'intero processo di feedback si è rivelato efficace nel migliorare il coinvolgimento.
NewsUnfold in Pratica
NewsUnfold è progettato per essere user-friendly. Mette in evidenza frasi potenzialmente biased negli articoli e incorpora un modulo di feedback che consente ai lettori di esprimere le proprie opinioni. Gli utenti possono giustificare il loro feedback in un campo di testo libero per spiegare il loro ragionamento.
Design dell'Applicazione
La piattaforma offre un'interfaccia simile ai popolari siti di aggregazione di notizie. Gli utenti sono incoraggiati a tornare regolarmente per interagire con contenuti aggiornati. La missione di NewsUnfold è promuovere la consapevolezza del bias nei media mentre raccoglie feedback per perfezionare il processo di rilevamento.
L'app mostra una selezione di articoli, permettendo agli utenti di vedere come il bias varia tra diversi argomenti e prospettive. Ogni articolo è scelto per rappresentare un bilanciamento di contenuti, assicurando che i lettori possano confrontare e contrastare i bias.
Esperienza dell'Utente
Oltre a raccogliere feedback, era importante valutare come gli utenti vivono NewsUnfold. I partecipanti hanno avuto l'opportunità di completare un sondaggio volontario dopo aver utilizzato l'app. Le loro risposte hanno rivelato sentimenti positivi riguardo alla piattaforma e alle sue funzionalità.
In generale, gli utenti hanno trovato NewsUnfold facile da capire e navigare. Molti hanno sentito che gli evidenziamenti del bias li hanno incoraggiati a leggere in modo più critico, coinvolgendoli più profondamente con il contenuto.
Feedback sul Feedback
I partecipanti hanno espresso sentimenti contrastanti riguardo alla fornitura di feedback. Per alcuni, è sembrato intuitivo e coinvolgente, mentre altri lo hanno trovato di disturbo per il loro flusso di lettura. I suggerimenti includevano la possibilità di rendere il tutorial obbligatorio per garantire che tutti capiscano come utilizzare la piattaforma in modo efficace.
Il feedback del sondaggio ha indicato aree di miglioramento, come affrontare le potenziali distrazioni causate dagli evidenziamenti nel testo.
Conclusione e Lavori Futuri
NewsUnfold dimostra il potenziale di usare il feedback degli utenti per raccogliere dati di alta qualità sul bias nei media. L'app integra efficacemente evidenziamenti visivi del bias e meccanismi di feedback per migliorare la comprensione e la consapevolezza del bias negli articoli di notizie.
Guardando al futuro, intendiamo sviluppare ulteriormente NewsUnfold in un sito web autonomo con un feed di contenuti sempre aggiornato. Il nostro obiettivo è valutare diversi metodi di feedback per il rilevamento del bias nei media ed espandere la portata dell'applicazione su altre piattaforme, come i social media.
Il meccanismo di feedback può servire come strumento per aumentare la consapevolezza sul bias in vari spazi digitali. Puntiamo a integrare questa funzionalità nei siti web, consentendo agli utenti di analizzare meglio i contenuti che consumano contribuendo a una comprensione collettiva del bias nei media.
In questo modo, speriamo di dare potere agli utenti non solo per riconoscere i bias nelle notizie ma anche per interagire in modo più significativo con le informazioni che incontrano. Con aggiornamenti continui e feedback degli utenti, NewsUnfold può svolgere un ruolo fondamentale nel promuovere abitudini di lettura critica e migliorare l'alfabetizzazione mediatica in un panorama mediatico sempre più complesso.
Titolo: NewsUnfold: Creating a News-Reading Application That Indicates Linguistic Media Bias and Collects Feedback
Estratto: Media bias is a multifaceted problem, leading to one-sided views and impacting decision-making. A way to address digital media bias is to detect and indicate it automatically through machine-learning methods. However, such detection is limited due to the difficulty of obtaining reliable training data. Human-in-the-loop-based feedback mechanisms have proven an effective way to facilitate the data-gathering process. Therefore, we introduce and test feedback mechanisms for the media bias domain, which we then implement on NewsUnfold, a news-reading web application to collect reader feedback on machine-generated bias highlights within online news articles. Our approach augments dataset quality by significantly increasing inter-annotator agreement by 26.31% and improving classifier performance by 2.49%. As the first human-in-the-loop application for media bias, the feedback mechanism shows that a user-centric approach to media bias data collection can return reliable data while being scalable and evaluated as easy to use. NewsUnfold demonstrates that feedback mechanisms are a promising strategy to reduce data collection expenses and continuously update datasets to changes in context.
Autori: Smi Hinterreiter, Martin Wessel, Fabian Schliski, Isao Echizen, Marc Erich Latoschik, Timo Spinde
Ultimo aggiornamento: 2024-07-29 00:00:00
Lingua: English
URL di origine: https://arxiv.org/abs/2407.17045
Fonte PDF: https://arxiv.org/pdf/2407.17045
Licenza: https://creativecommons.org/licenses/by/4.0/
Modifiche: Questa sintesi è stata creata con l'assistenza di AI e potrebbe presentare delle imprecisioni. Per informazioni accurate, consultare i documenti originali collegati qui.
Si ringrazia arxiv per l'utilizzo della sua interoperabilità ad accesso aperto.
Link di riferimento
- https://github.com/media-bias-group/newsunfold
- https://www.allsides.com/
- https://ground.news/
- https://huggingface.co/mediabiasgroup/da-roberta-babe-ft
- https://www.prolific.co
- https://news.google.com
- https://umami.is
- https://huggingface.co/mediabiasgroup/DA-RoBERTa-BABE
- https://doi.org/10.5281/zenodo.8344891
- https://www.daad.de/de/