Affrontare il linguaggio abusivo online: un nuovo approccio

Il linguaggio abusivo online rimane un grande problema, nonostante le regole stabilite dai paesi e dalle piattaforme di social media. Le leggi recenti in Europa mirano a ridurre la violenza digitale, ma i contenuti dannosi sono ancora comuni. La maggior parte dei metodi esistenti per affrontare questo problema si concentra su azioni semplici come il blocco o l’esclusione degli utenti. Questi metodi non catturano la natura complicata del linguaggio abusivo. Questo documento introduce un nuovo approccio chiamato Demarcazione, che valuta il linguaggio abusivo in base a quattro fattori principali: gravità, presenza del bersaglio, contesto e standard legali. Suggerisce inoltre varie opzioni per gestire i contenuti dannosi, tra cui il contro-linguaggio, la disintossicazione dei messaggi, l’esclusione degli utenti o il ricorso all’intervento umano.

Dopo aver analizzato come diversi paesi, piattaforme e studi affrontano il linguaggio abusivo, abbiamo trovato lacune in come le misure attuali prevengono questi problemi e raccomandiamo passi proattivi specifici per combattere le sue molteplici forme. Il nostro obiettivo è aiutare a plasmare strategie future che possano combattere efficacemente il linguaggio abusivo online.

#La Sfida della Violenza Digitale

Le tecnologie AI stanno avanzando rapidamente ed è vitale trovare modi in cui possano creare impatti sociali positivi. In particolare, nel campo dell’elaborazione del linguaggio naturale (NLP), un’area importante su cui concentrarsi è la riduzione della violenza digitale. La violenza digitale può danneggiare gli utenti in vari modi utilizzando la tecnologia per ferire, imbarazzare, disturbare, spaventare o vittimizzare. Questo porta spesso a un disagio emotivo, che include ansia e tristezza, e influisce sulla motivazione al lavoro delle persone. Comprende attività online dannose come il linguaggio d’odio e il linguaggio tossico.

I metodi di moderazione automatica tradizionali si concentrano principalmente sul blocco dei messaggi offensivi. Molte aziende, come Meta e X, hanno una politica generale contro il linguaggio d’odio, che include la cancellazione di post e la sospensione di account. Tuttavia, questo approccio si è dimostrato inefficace nel gestire i comportamenti abusivi a lungo termine. È necessario un approccio più dettagliato.

Il contro-linguaggio è emerso come un metodo più recente per ridurre il linguaggio d’odio ed è stato efficace nell’affrontare il discorso dannoso. Esiste anche una pratica più recente chiamata disintossicazione del testo, che mira a ridurre il linguaggio tossico. Tuttavia, questo metodo non è ancora ampiamente utilizzato.

Questo documento mira a riunire varie misure proattive per ridurre la violenza digitale in un processo organizzato, incorporando intuizioni provenienti da diverse regioni e dalla ricerca NLP esistente in questo campo.

#Diversi Tipi di Violenza

La violenza può assumere molte forme, dalle parole che danneggiano gli individui alle azioni che danneggiano le comunità. La violenza digitale è una forma unica che si basa sulla tecnologia e si diffonde principalmente attraverso dispositivi come computer e telefoni. Può avvenire pubblicamente sui social media o privatamente su dispositivi personali. Purtroppo, coloro che sono più vulnerabili nella vita reale sono spesso gli stessi bersagli negli abusi online.

Questo documento si concentra esclusivamente sulle forme testuali di abuso digitale. La ricerca ha classificato i contenuti dannosi come abusivi o come una forma di danno online. Questa classificazione comprende quattro categorie di contenuti dannosi:

• Odio e Molestie: Prende di mira individui o gruppi per tormentare o intimidire.
• Danno Auto-Inflitto: Promuove comportamenti di autolesionismo.
• Danno Ideologico: Diffonde credenze dannose che possono avere un impatto negativo sulla società nel tempo.
• Sfruttamento: Utilizza contenuti per sfruttare altri finanziariamente, sessualmente o fisicamente.

Uno studio ha anche dimostrato che i contenuti dannosi possono rientrare in varie categorie di linguaggio offensivo, ognuna delle quali prende di mira aspetti diversi, come insulti, commenti razzisti o comportamenti tossici.

Definire il linguaggio d’odio è difficile poiché non esiste un chiaro accordo tra i legislatori, gli operatori delle piattaforme e i ricercatori. La definizione è diventata anche sfumata con nuove sfide etiche e comunicative. Inoltre, la definizione attuale spesso mescola il linguaggio d’odio con il linguaggio negativo, il che può includere malcontento e risentimento su vari temi. Una definizione ampiamente accettata, proposta dalle Nazioni Unite, afferma che il linguaggio d’odio include qualsiasi comunicazione che attacca o utilizza linguaggio dispregiativo nei confronti di una persona o di un gruppo sulla base della loro identità, come razza, religione o genere.

#Pratiche di Moderazione dei contenuti

Per affrontare gli incidenti di violenza digitale, viene comunemente impiegata la moderazione dei contenuti. Ciò comporta la supervisione di ciò che gli utenti pubblicano per garantire che soddisfi gli standard legali e comunitari. Sia la moderazione umana che quella algoritmica sono utilizzate per gestire i contenuti. La moderazione algoritmica viene principalmente condotta per rimuovere o vietare contenuti che non soddisfano tali standard. Questo metodo migliora la sicurezza online individuando rapidamente violazioni gravi.

Studi recenti hanno chiesto una soluzione più duratura attraverso approcci di contro-linguaggio o anti-odio. Il contro-linguaggio cerca di sfidare contenuti dannosi e supportare la libertà di parola promuovendo un dialogo positivo. Un altro metodo, la disintossicazione, lavora per ridurre la tossicità del contenuto mantenendo il significato originale il più possibile.

Nonostante le critiche da parte degli attivisti della libertà di parola, la disintossicazione mira a creare un ambiente digitale più civile per tutti gli utenti, specialmente i bambini, e si concentra sulla gestione del linguaggio tossico esplicito.

#Lavoro Correlato

La moderazione del linguaggio abusivo è cruciale per le piattaforme di social media e coinvolge varie strategie per limitare la visibilità dei contenuti dannosi. Queste misure vanno dalla cancellazione di post e all’emissione di avvisi all’esclusione di utenti che non seguono le regole. Gli sforzi recenti si concentrano sulla raccolta di dati per costruire sistemi automatici per la classificazione del linguaggio d’odio, anche in lingue a basse risorse.

La generazione automatica di contro-linguaggio sta guadagnando terreno come metodo preferito, principalmente perché rispetta la libertà di parola. Questa strategia spesso sfida messaggi dannosi invece di zittirli. La ricerca ha dimostrato che il contro-linguaggio può promuovere interazioni positive nella comunità incoraggiando il dialogo tra gli utenti.

Un altro area di ricerca si concentra sulla disintossicazione dei messaggi, che cerca di minimizzare o rimuovere il linguaggio offensivo nelle frasi mantenendo il contenuto comprensibile. I metodi di disintossicazione migliorati migliorano la comunicazione online, rendendola più rispettosa.

Alcune piattaforme hanno iniziato a implementare strumenti per monitorare continuamente il linguaggio d’odio. Ad esempio, uno strumento sviluppato per Twitter è stato utilizzato da ONG per rispondere all’islamofobia. Lo strumento ha mostrato potenziale per avere un impatto significativo sull’odio online.

La ricerca evidenzia discrepanze tra il focus della comunità scientifica e ciò di cui le piattaforme hanno bisogno per una moderazione efficace. Alcuni problemi ricevono più attenzione di altri, portando a un divario nelle soluzioni per le necessità urgenti di moderazione dei contenuti. Per affrontare questa disconnessione, il documento propone un framework di moderazione più dinamico che includa varie opzioni di intervento su misura per specifici contesti.

#Indagare le Regolamentazioni Nazionali

Questo documento si concentra sull’analisi di come diverse nazioni regolano il linguaggio d’odio. I paesi hanno sviluppato le proprie leggi per combattere il linguaggio d’odio, rendendo necessario comprendere i loro approcci e come si relazionano alle piattaforme digitali.

I criteri di selezione per queste regolamentazioni includevano la considerazione dei paesi di origine dei co-autori, garantendo una rappresentanza geografica, la presenza online degli utenti e concentrandosi su paesi con problemi significativi di linguaggio d’odio.

Sono state formulate domande per estrarre informazioni chiave sull’approccio di ciascun paese. Gli argomenti includevano la libertà di parola, le definizioni di linguaggio d’odio, le punizioni per i reati, la regolamentazione delle piattaforme di social media e la promozione di misure preventive come iniziative di contro-linguaggio.

In totale, la ricerca include 14 paesi e l’Unione Europea, analizzando i loro approcci al linguaggio d’odio attraverso un questionario completo.

#Politiche delle Piattaforme

Successivamente, abbiamo esaminato le politiche delle popolari piattaforme di social media riguardo al linguaggio d’odio. L’obiettivo era comprendere come le diverse piattaforme affrontano contenuti dannosi, considerando fattori come l’accessibilità per gli utenti e le pratiche di moderazione.

Abbiamo selezionato le piattaforme in base alla loro popolarità e al numero di utenti. Le domande sono state progettate per raccogliere informazioni sulla definizione di linguaggio d’odio, sui processi di verifica degli utenti, sull’accessibilità delle regolazioni, sulle pratiche di moderazione e sulle misure preventive adottate dalle piattaforme.

La ricerca si è concentrata su 15 piattaforme, analizzando le loro linee guida comunitarie in relazione ai contenuti offensivi e alle strategie di mitigazione.

#Risultati dai Dati di Ricerca

L’ultima sezione dello studio esamina vari dataset utilizzati per rilevare il linguaggio d’odio. Questi dataset sono importanti per costruire modelli di classificazione affidabili del linguaggio d’odio. L’analisi si è concentrata su quanti dataset esistono per diverse lingue e sulla qualità delle loro definizioni.

Le domande miravano ad esplorare la chiarezza delle definizioni di linguaggio d’odio, la qualità e l’affidabilità delle annotazioni dei dataset e la demografia degli annotatori. I ricercatori hanno analizzato 38 articoli sui dataset che spaziano in numerose lingue, garantendo una comprensione ampia dell’attuale panorama nella ricerca sul linguaggio d’odio.

#Considerazioni Chiave e Raccomandazioni

Per affrontare meglio il linguaggio abusivo, proponiamo un nuovo pipeline chiamato Demarcazione. Questo metodo valuta il linguaggio in base a un punteggio derivato da diversi fattori. Considera la gravità del linguaggio, se prende di mira specifici individui o gruppi, il contesto in cui è stato espresso e gli standard legali applicabili.

Una volta stabilito un punteggio, possono essere adottati passi specifici per ridurre la tossicità del contenuto. Questi possono includere l’impiego di tecniche di disintossicazione, la promozione del contro-linguaggio e, se necessario, l’adozione di misure come il blocco degli utenti o il coinvolgimento di moderatori umani.

Per migliorare l'efficienza di questo pipeline, raccomandiamo di sviluppare migliori linee guida per l’annotazione dei dataset. Questi standard migliorati aumenterebbero l’accuratezza dei modelli di moderazione automatica, consentendo risposte più efficaci al linguaggio abusivo.

#Limitazioni e Considerazioni Etiche

Sebbene la ricerca mirasse ad essere approfondita, ha affrontato diverse limitazioni. L’attenzione era concentrata esclusivamente sulle forme testuali di violenza digitale, escludendo altre modalità, come immagini o video. Inoltre, il pipeline inizialmente si concentrava solo sui contenuti creati da esseri umani. Con l’aumento dei testi generati da macchine, è cruciale includere misure per rilevare e gestire questo tipo di contenuto. Infine, lo studio è stato limitato agli ambienti digitali, anche se gli effetti della violenza online possono estendersi nella vita reale.

Gli autori sono impegnati a rispettare la libertà di parola mentre riconoscono la necessità di strategie di moderazione su misura in base al contesto e alle necessità specifiche. L’obiettivo è fornire una prospettiva più ampia su potenziali modi per gestire il linguaggio abusivo attraverso la tecnologia.

#Riepilogo dei Risultati

In sintesi, lo studio ha approfondito come diversi paesi e piattaforme stiano affrontando il linguaggio d’odio e i contenuti abusivi. Esaminando varie regolazioni, politiche delle piattaforme e ricerche esistenti, abbiamo evidenziato la necessità di misure più proattive. Il nostro pipeline proposto, Demarcazione, mira a colmare questa lacuna e a creare una strategia più completa per combattere efficacemente il linguaggio abusivo.

Sebbene rimangano sfide, linee guida migliorate, una migliore comprensione delle complessità del linguaggio d’odio e un impegno ad adattare i nostri approcci possono portare a un ambiente online più sicuro per tutti.