ACTI-Herausforderung bekämpft Online-Verschwörungstheorien

Die Aufgabe zur Identifizierung von Verschwörungstheorien ist eine neue Herausforderung, die bei Evalita 2023 gestartet ist. Diese Aufgabe konzentriert sich darauf, Verschwörungstheorien in Kommentaren von Telegram, einer Messaging-Plattform, zu erkennen. Die Herausforderung hat zwei Teile: Zum einen geht es darum, herauszufinden, ob ein Kommentar verschwörerischen Inhalt enthält, und zum anderen, welche spezifische Verschwörungstheorie damit in Zusammenhang steht. Insgesamt nahmen fünfzehn Teams teil und reichten insgesamt 81 Beiträge ein. Die besten Methoden verwendeten grosse Sprachmodelle, um gute Ergebnisse zu erzielen.

#Historischer Kontext von Verschwörungstheorien

Verschwörungstheorien sind schon seit langem Teil der Menschheitsgeschichte. Sie ziehen die Leute mit ihren interessanten Geschichten und unklaren Erklärungen in ihren Bann. Zum Beispiel gab es im Mittelalter eine schädliche Verschwörungstheorie, die als "Blutbeschuldigung" bekannt ist. Diese Theorie beschuldigte fälschlicherweise jüdische Menschen, christliche Kinder für religiöse Rituale zu entführen und zu töten. Obwohl dieser Vorwurf vollständig widerlegt wurde, zeigt er, wie gefährlich solche Theorien für bestimmte Gruppen sein können.

Mit dem Aufstieg des Internets haben Verschwörungstheorien neue Wege gefunden, sich zu verbreiten. Sie können leicht auf beliebten Plattformen wie Twitter und Reddit sowie auf Nischenseiten wie 4chan und Telegram geteilt werden. Diese Verbreitung im Internet hat ernsthafte Auswirkungen, die zu Fehlinformationen und einem Rückgang des Vertrauens in etablierte Informationsquellen führen. Solche Fehlinformationen können öffentliche Diskussionen, politische Ereignisse und sogar Gesundheitsbemühungen schädigen.

Ein modernes Beispiel für die Gefahren von Verschwörungstheorien ist Qanon. Diese Theorie begann in randständigen Online-Foren und gewann während der Trump-Ära an Popularität, was letztendlich zu Ereignissen wie dem Angriff auf das US-Kapitol 2021 beitrug. Der Kontakt mit Verschwörungstheorien kann die Denkweise der Menschen verändern. Studien zeigen, dass Einzelpersonen, nachdem sie eine Verschwörungstheorie gehört haben, möglicherweise anfangen, an andere zu glauben, was einen Kreislauf des Misstrauens und der Paranoia schafft.

Die COVID-19-Pandemie hat das Verschwörungsdenken weiter angeheizt. Zweifel an Impfstoffen, Skepsis gegenüber öffentlichen Gesundheitsmassnahmen und alternative Narrative haben weltweit zu einem signifikanten Anstieg von Verschwörungstheorien geführt. Das Ergebnis ist eine riesige Menge an versuchungsbezogenem Inhalt in vielen Sprachen.

Soziale Medien haben begonnen, die Verbreitung dieses Inhalts durch ihre Moderationsrichtlinien einzuschränken. Allerdings gibt es eine anhaltende Debatte darüber, wie gut diese Methoden funktionieren. Es besteht ein klarer Bedarf an neuen Wegen, um diesen sich ständig ändernden Inhalt schnell zu erkennen und zu behandeln. Diese Herausforderung führt zur Schaffung der Aufgabe zur automatischen Identifizierung von Verschwörungstheorien (ACTI). Ziel ist es, das wachsende Problem von Verschwörungstheorien in anderen Sprachen als Englisch anzugehen.

#Aufgabenbeschreibung

Die ACTI-Aufgabe ist in zwei Teile unterteilt. Der erste Teil beschäftigt sich damit, zu bestimmen, ob ein Text verschwörerisch ist oder nicht. Ein Text gilt als verschwörerisch, wenn er andeutet, dass grosse Ereignisse, wie die COVID-19-Pandemie, von mächtigen Leuten zu ihrem eigenen Vorteil erfunden wurden. Er kann auch Aussagen enthalten, die eine Verschwörungstheorie unterstützen.

Ein Beispiel für eine Aussage, die als verschwörerisch zählt, wäre "feminist cancer ist am Überhandnehmen", da sie subtil die Idee unterstützt, dass Frauenrechte der Gesellschaft schaden. Andererseits wird ein Text, der keine Verschwörungsüberzeugungen fördert, als nicht verschwörerisch klassifiziert.

Der zweite Teil besteht darin, zu klassifizieren, zu welcher spezifischen Verschwörungstheorie ein Beitrag gehört. Die Aufgabe deckt vier Haupttheorien ab:

1. COVID-Verschwörung: Beiträge, die sich auf Impfstoffe, 5G-Technologie oder irgendwelche Behauptungen beziehen, die die Ernsthaftigkeit der Pandemie untergraben.
2. Qanon-Verschwörung: Beiträge über eine Theorie, die behauptet, dass eine Gruppe mächtiger Personen an schädlichen Aktivitäten gegen politische Führer beteiligt ist.
3. Flache Erde-Verschwörung: Behauptungen, dass die Erde flach ist und dass es eine Verschwörung gibt, diese Wahrheit zu verbergen.
4. Pro-Russland-Verschwörung: Theorien, die Russland als Opfer von Konflikten darstellen, die von anderen Ländern angezettelt wurden.

#Einsammeln von verschwörerischem Inhalt

Um die notwendigen Daten für die ACTI-Aufgabe zu sammeln, wurde ein Webcrawler eingesetzt. Dieses Tool suchte nach bestimmten Quellen, die für das Teilen von Verschwörungsinhalten auf Telegram bekannt sind. Die ausgewählten Kanäle konzentrierten sich auf rechtsextreme Ideologien und Verschwörungstheorien, wie Qlobal-Change Italia und Basta Dittatura. Die Datensammlung fand über sechs Monate statt und sammelte Kommentare, die auf Italienisch verfasst wurden, während sehr kurze Kommentare herausgefiltert wurden.

Menschliche Annotatoren spielten eine wichtige Rolle bei der Sicherstellung der Zuverlässigkeit der Daten. Sie arbeiteten daran, die Kommentare in drei Kategorien zu kennzeichnen: "Nicht relevant", "Nicht verschwörerisch" und "Verschwörerisch." Kommentare, die Gedanken enthielten, die nichts mit dem Thema zu tun hatten, wurden als "Nicht relevant" gekennzeichnet, während solche, die keine Verschwörungstheorien beinhalteten, als "Nicht verschwörerisch" markiert wurden. Das Label "Verschwörerisch" wurde Kommentaren zugewiesen, die entweder verschwörerische Ideen enthielten oder unterstützten.

Eine weitere Kategorisierung wurde für Kommentare vorgenommen, die als "Verschwörerisch" gekennzeichnet waren, indem sie in die vier zuvor genannten Hauptverschwörungstheorien unterteilt wurden. Dieser strukturierte Ansatz ermöglichte eine bessere Analyse spezifischer Verschwörungstypen.

#Bewertungsmasse und Baselines

Zur Bewertung der verschiedenen Einsendungen im Wettbewerb wurden verschiedene Metriken für die beiden Aufgaben eingesetzt. Für die erste Aufgabe, die sich auf die verschwörerische Klassifizierung konzentrierte, half die Genauigkeit der Einsendungen dabei, die Teams zu ranken. In der zweiten Aufgabe, die das Erkennen von Verschwörungstypen beinhaltete, wurde der F1-Score verwendet. Dieser Score berücksichtigt sowohl Präzision als auch Rückruf und bietet ein ausgewogenes Mass für die Leistung.

Um eine Basislinie für die Aufgaben zu erstellen, wurde ein Random Forest-Modell trainiert. Das Modell bot einen Ausgangspunkt für den Vergleich. Insgesamt nahmen fünfzehn Teams aus mehreren Institutionen teil und produzierten 81 Einsendungen.

#Ergebnisse zur Klassifizierung von verschwörerischem Inhalt

In der ersten Aufgabe erzielte das beste Ergebnis ein Team namens "Andy P." von der Universität Politehnica in Bukarest. Sie erreichten eine beeindruckende Genauigkeit von 0.85, indem sie ein Modell für die italienische Sprache verwendeten. Sie setzten auch eine Technik namens kontrastives Training ein und integrierten Methoden zur Erstellung von mehr Trainingsdaten.

Andere Teams verwendeten Variationen von grossen Sprachmodellen und Transformermodellen. Viele Teams erzielten Genauigkeiten von über 0,80 %, was starke Leistungen zeigt.

#Ergebnisse zur Erkennung von Verschwörungskategorien

In der zweiten Aufgabe führte erneut "Andy P." mit einem Spitzen-F1-Score von 0,91. Interessanterweise schnitt ihre Methode ohne Datenaugmentation besser ab als mit. Ein Team von der Universität Tor Vergata erzielte ebenfalls gute Ergebnisse und erreichte einen F1-Score von 0,89, indem es eine Kombination verschiedener Modelle verwendete.

#Die Rolle von grossen Sprachmodellen

Die Verbreitung von Fehlinformationen und Verschwörungstheorien stellt erhebliche Herausforderungen dar. Viele Teams im Wettbewerb nutzten grosse Sprachmodelle (LLMs), um diese Probleme anzugehen.

Eine erfolgreiche Strategie war die Verwendung von LLMs zur Erstellung synthetischer Daten, was den Teams half, mehr Trainingsmaterial zu sammeln. Dieser Ansatz geht die Schwierigkeiten an, realen Inhalt zu finden und die Notwendigkeit umfangreicher manueller Kennzeichnung. Es ist jedoch wichtig, die Qualität dieser generierten Daten zu bewerten. Menschliche Bewertungen können überprüfen, ob der synthetische Inhalt mit tatsächlichen Verschwörungsansichten übereinstimmt.

Darüber hinaus nutzten die Teilnehmer Aufforderungstechniken mit LLMs, um verschwörerisches Material zu erkennen. Diese Methode erwies sich als effektiv in beiden Unteraufgaben des Wettbewerbs. Durch die Verwendung verschiedener Aufforderungen zeigten die Teams das Potenzial dieser Modelle zur Identifizierung von Mustern und Sprachhinweisen, die mit Verschwörungen verbunden sind.

Die Kombination der Stärken dieser Ansätze kann zu weiteren Fortschritten im Umgang mit Fehlinformationen führen. Durch die Integration menschlicher Bewertungen mit der Verfeinerung von Aufforderungstechniken können zukünftige Werkzeuge genauer und zuverlässiger werden, um Verschwörungstheorien zu erkennen und darauf zu reagieren.

Zusammenfassend hat die ACTI-Aufgabe wertvolle Einblicke in die anhaltende Herausforderung von Verschwörungstheorien in Online-Bereichen gegeben. Die Ergebnisse betonen die Bedeutung kontinuierlicher Forschung und die Anwendung fortgeschrittener Datenanalysetechniken, um Fehlinformationen effektiv zu bekämpfen.