Sfide di Moderazione nelle Reti Decentralizzate
Affrontare i problemi di moderazione dei contenuti nel fediverso con strategie innovative.
― 6 leggere min
Indice
L'ascesa dei social network decentralizzati, spesso chiamati fediverse, presenta nuove sfide per la Moderazione dei contenuti. In queste reti, i post fatti su un server possono facilmente diffondersi su un altro server, anche quando i due server hanno regole molto diverse su cosa è accettabile. Questa situazione complica il modo in cui moderiamo le interazioni online.
Una possibile soluzione è usare la tecnologia per identificare e filtrare automaticamente i post che violano le politiche di moderazione, come quelli contenenti discorsi dannosi. Ricerche recenti hanno dimostrato che analizzare il contesto delle conversazioni può migliorare l'efficacia di questi strumenti di moderazione. Guardando le risposte e come si collegano al post originale, possiamo determinare meglio se un post è dannoso.
Tuttavia, il fediverse crea sfide uniche per questo approccio. Le conversazioni spesso si estendono su più server, il che significa che un server dato può vedere solo una parte della Conversazione. Questa frammentazione può portare a confusione sul contesto e sui contenuti che vengono moderati.
In questo articolo, introduciamo un nuovo metodo di moderazione che tiene conto della struttura delle conversazioni nelle reti decentralizzate. Ci concentriamo su una piattaforma specifica chiamata Pleroma, un servizio di microblogging che fa parte del fediverse. Il nostro obiettivo è sviluppare strumenti che aiutino i moderatori a gestire efficacemente i contenuti in questo ambiente complesso.
Il Fediverse e le sue Sfide
Il fediverse è un insieme di piattaforme di social media interconnesse che permettono agli utenti di diversi server di comunicare e interagire. A differenza dei social network tradizionali come Twitter o Facebook, dove un'unica entità controlla le regole e i contenuti, il fediverse dà potere agli utenti e alle comunità di creare i propri server, conosciuti come Istanze. Ogni istanza può avere le proprie regole e politiche sui contenuti.
Anche se questa decentralizzazione ha molti vantaggi, crea anche sfide significative per la moderazione. Ogni server può condividere contenuti, ma la visibilità di questi contenuti può variare a seconda dell'istanza specifica su cui si trova un utente. Di conseguenza, i moderatori potrebbero non vedere il quadro completo di una conversazione che si diffonde su più istanze.
Questa visione parziale rende difficile identificare contenuti dannosi. Se un moderatore su un server vede solo un frammento di una conversazione, potrebbe fraintendere l'intento o il contesto del contenuto. Poiché il linguaggio Tossico è prevalente negli spazi online, è cruciale che i moderatori abbiano strumenti efficaci per identificare e gestire questo problema.
Approccio Proposto
Per affrontare queste sfide, abbiamo sviluppato un nuovo approccio di moderazione che sfrutta la struttura delle conversazioni nel fediverse. La nostra strategia utilizza un tipo di modello di apprendimento automatico progettato per analizzare sia i singoli post che il contesto più ampio della conversazione in cui si verificano.
Questo modello, chiamato GraphNLI, si basa su tecniche di deep learning grafico. Funziona sull'idea che i post siano interconnessi come nodi in un grafo. Analizzando le relazioni tra i post, il modello può determinare meglio la natura del contenuto e se è dannoso.
La chiave del nostro approccio è capire che le conversazioni possono essere frammentate su diverse istanze. Addestriamo il modello GraphNLI su dati locali di ogni server, permettendogli di imparare dal contesto disponibile anche quando è incompleto. In questo modo, il modello può comunque fare previsioni informate sulla tossicità basate sulle informazioni che ha a disposizione.
Analizzare le Conversazioni in Pleroma
Per convalidare il nostro approccio, ci siamo concentrati sulla piattaforma Pleroma e abbiamo analizzato i suoi dati. Pleroma è un attore significativo nel fediverse, con milioni di post e migliaia di conversazioni. Il nostro primo passo è stato ricostruire le conversazioni su Pleroma per studiare i modelli e le sfide associate alla moderazione.
Nella nostra analisi, abbiamo identificato milioni di conversazioni, ognuna delle quali consisteva in vari post e risposte. Tuttavia, abbiamo scoperto che molte di queste conversazioni erano frammentate, il che significava che i moderatori su server diversi avrebbero visto solo parti dell'intera discussione. Questa frammentazione ha complicato il compito di valutare la tossicità generale delle conversazioni.
Utilizzando il nostro modello GraphNLI, abbiamo cercato di classificare questi post in base al fatto che contenessero contenuti dannosi. Abbiamo addestrato il modello utilizzando punteggi di tossicità provenienti da uno strumento esterno progettato per identificare il linguaggio tossico. Il modello ha quindi imparato a riconoscere schemi e contesti per migliorare le sue previsioni sui post in Pleroma.
Prestazioni del Modello
I nostri esperimenti iniziali hanno mostrato risultati promettenti per le istanze più grandi di Pleroma. Il modello ha rilevato efficacemente contenuti tossici in queste istanze grazie ai ricchi dati locali disponibili. Tuttavia, abbiamo anche scoperto che le istanze più piccole lottavano con la rilevazione accurata a causa dei loro dati limitati.
Per mitigare questo problema, abbiamo esplorato metodi per far sì che le piccole istanze condividano informazioni. Abbiamo sperimentato diverse strategie per aiutare i server piccoli ad accedere a più dati dai server più grandi. Ad esempio, abbiamo introdotto una strategia di "scambio di toot", in cui le istanze più piccole potevano prendere in prestito post da quelle più grandi, permettendo loro di ottenere contesto e migliorare le loro capacità di moderazione.
Abbiamo anche applicato un approccio di "condivisione del modello", in cui le istanze più piccole potevano utilizzare un modello addestrato su istanze più grandi e adattarlo in base ai loro dati specifici. Questo metodo si è rivelato il più efficace, portando a un significativo aumento della capacità del modello di rilevare contenuti tossici nelle istanze più piccole.
Lezioni dall'Approccio Decentralizzato
I risultati della nostra ricerca evidenziano l'importanza del contesto della conversazione nella moderazione. Nei social network tradizionali, i modelli possono fare affidamento su dataset completi per analizzare i contenuti. Tuttavia, nelle reti decentralizzate, dobbiamo adattare le nostre strategie per tenere conto della natura frammentata delle conversazioni.
Le nostre scoperte sottolineano la necessità di collaborazione tra le istanze per migliorare gli sforzi di moderazione. Adottando strategie per la condivisione di dati o modelli, le istanze più piccole possono migliorare notevolmente la loro capacità di gestire contenuti tossici. Questo tipo di cooperazione può essere essenziale per mantenere comunità online sane.
Inoltre, la nostra ricerca sottolinea la necessità di strumenti di moderazione che siano adattabili e considerino le sfide uniche poste dalla decentralizzazione. Strumenti che sfruttano il contesto e permettono la condivisione dei dati possono contribuire a creare un paesaggio di moderazione più equo nel fediverse.
Conclusione
In conclusione, il nostro studio mette in evidenza il potenziale di approcci innovativi alla moderazione nei social network decentralizzati. Man mano che sempre più utenti si rivolgono a piattaforme come Pleroma, è cruciale che i moderatori abbiano strumenti efficaci che possano adattarsi alle complessità del fediverse.
La frammentazione delle conversazioni presenta sfide, ma sfruttando la struttura delle conversazioni ed esplorando strategie per la condivisione delle informazioni, possiamo migliorare il processo di moderazione. Questo lavoro getta le basi per future ricerche e sviluppi nelle tecnologie di moderazione progettate per ambienti decentralizzati.
Mentre andiamo avanti, è essenziale continuare a esplorare e perfezionare questi metodi per adattarci al panorama in evoluzione dei social media. Facendo così, possiamo supportare comunità online più sane e promuovere interazioni positive tra gli utenti nel fediverse.
Titolo: Decentralised Moderation for Interoperable Social Networks: A Conversation-based Approach for Pleroma and the Fediverse
Estratto: The recent development of decentralised and interoperable social networks (such as the "fediverse") creates new challenges for content moderators. This is because millions of posts generated on one server can easily "spread" to another, even if the recipient server has very different moderation policies. An obvious solution would be to leverage moderation tools to automatically tag (and filter) posts that contravene moderation policies, e.g. related to toxic speech. Recent work has exploited the conversational context of a post to improve this automatic tagging, e.g. using the replies to a post to help classify if it contains toxic speech. This has shown particular potential in environments with large training sets that contain complete conversations. This, however, creates challenges in a decentralised context, as a single conversation may be fragmented across multiple servers. Thus, each server only has a partial view of an entire conversation because conversations are often federated across servers in a non-synchronized fashion. To address this, we propose a decentralised conversation-aware content moderation approach suitable for the fediverse. Our approach employs a graph deep learning model (GraphNLI) trained locally on each server. The model exploits local data to train a model that combines post and conversational information captured through random walks to detect toxicity. We evaluate our approach with data from Pleroma, a major decentralised and interoperable micro-blogging network containing 2 million conversations. Our model effectively detects toxicity on larger instances, exclusively trained using their local post information (0.8837 macro-F1). Our approach has considerable scope to improve moderation in decentralised and interoperable social networks such as Pleroma or Mastodon.
Autori: Vibhor Agarwal, Aravindh Raman, Nishanth Sastry, Ahmed M. Abdelmoniem, Gareth Tyson, Ignacio Castro
Ultimo aggiornamento: 2024-04-16 00:00:00
Lingua: English
URL di origine: https://arxiv.org/abs/2404.03048
Fonte PDF: https://arxiv.org/pdf/2404.03048
Licenza: https://creativecommons.org/licenses/by-nc-sa/4.0/
Modifiche: Questa sintesi è stata creata con l'assistenza di AI e potrebbe presentare delle imprecisioni. Per informazioni accurate, consultare i documenti originali collegati qui.
Si ringrazia arxiv per l'utilizzo della sua interoperabilità ad accesso aperto.
Link di riferimento
- https://engineering.fb.com/2023/09/07/culture/threads-inside-story-metas-newest-social-app/
- https://ec.europa.eu/commission/presscorner/detail/en/qanda_20_2349
- https://github.com/vibhor98/decentralised-moderation-pleroma
- https://digital-strategy.ec.europa.eu/en/policies/digital-services-act-package
- https://github.com/harisbinzia/mastodoner
- https://support.perspectiveapi.com/s/about-the-api-faqs?language=en_US