Untersuchung von Wahlansprüchen in sozialen Medien

Soziale Medien sind eine grosse Plattform für Diskussionen über Politik, besonders während Wahlen. Die Leute teilen ihre Meinungen über Kandidaten und Wahlprozesse, aber das öffnet auch die Tür für Fehlinformationen. Schlechte Akteure könnten diese Gelegenheit nutzen, um falsche Infos zu verbreiten, die das Vertrauen in Wahlen schädigen können. Mit dem Aufkommen fortschrittlicher Sprachmodelle ist es einfacher denn je für diese Akteure, irreführende Inhalte zu erstellen, die wie echte Beiträge von Nutzern aussehen. Das wirft ernsthafte Bedenken hinsichtlich der Zuverlässigkeit von Informationen auf sozialen Medien auf.

Um dieses Problem anzugehen, haben Forscher ein System entwickelt, um Ansprüche, die während Wahlen in sozialen Medien geäussert werden, zu kategorisieren. Dieses System hilft dabei, Ansprüche in spezifische Gruppen basierend auf Themen wie Zuständigkeit, Wahlgeräte, Prozesse und die Art der gemachten Ansprüche zu unterteilen. Es wurde ein neuer Datensatz erstellt, der 9.900 Tweets enthält, die als entweder von Menschen geschrieben oder von Künstlicher Intelligenz (KI) generiert gekennzeichnet sind. Für die KI-generierten Tweets wird das spezifische Modell, das zur Erstellung verwendet wurde, vermerkt.

Der Datensatz beinhaltet eine kleinere Menge von 1.550 Tweets, die mithilfe des neuen Kategorisierungssystems annotiert wurden, um verschiedene Aspekte von wahlbezogenen Ansprüchen hervorzuheben. Die Forschung untersucht, wie gut Sprachmodelle diese Kategorien identifizieren können und ob Menschen oder Maschinen besser darin sind, menschliche und KI-generierte Beiträge auseinanderzuhalten.

Die Art und Weise, wie die Leute über Politik reden, hat sich durch soziale Medien drastisch verändert, die es Kandidaten und politischen Organisationen ermöglichen, direkt mit Wählern zu sprechen. Plattformen wie X (früher bekannt als Twitter) sind zu wichtigen Kanälen für den Austausch von Informationen geworden, einschliesslich Ansprüchen über Wahlbetrug. Falsche Ansprüche können den Wahlprozess und das Vertrauen der Menschen in das Wahlsystem ernsthaft beeinträchtigen.

Mit der Weiterentwicklung von Sprachmodellen können sie Texte erstellen, die oft menschliches Schreiben widerspiegeln. Allerdings können diese Modelle manchmal Informationen generieren, die nicht der Wahrheit entsprechen, was zu Verwirrung und Fehlinformationen führen kann. Die Kombination aus leistungsstarken Sprachmodellen und der grossen Reichweite sozialer Medien birgt das Risiko, während Wahlzyklen falsche Ansprüche zu verbreiten.

Diese Forschung konzentriert sich darauf, eine Taxonomie – ein Klassifizierungssystem – zu schaffen, das ein besseres Verständnis von wahlbezogenen Ansprüchen in sozialen Medien ermöglicht. Die Taxonomie hebt verschiedene Aspekte dieser Ansprüche hervor, wie wo sie herkommen und worum es dabei geht, was die Analyse und Identifizierung potenziell falscher Informationen in zukünftigen Wahlen erleichtert.

#Hintergrund und Motivation

Wahlen sind entscheidend für die Demokratie, aber die Verbreitung von Fehlinformationen in sozialen Medien stellt eine ernsthafte Bedrohung für deren Fairness und Integrität dar. In den USA wird die Wahlinfrastruktur als kritisch für die nationale Sicherheit angesehen, und Bedrohungen dafür können das öffentliche Vertrauen schädigen und demokratische Institutionen schwächen.

Fehlinformationen können sich gegen spezifische Kandidaten, Wahlbeamte oder Wahlgeräte richten, was zu einem Rückgang des Vertrauens unter Wählern führt. Das Ziel dieser Forschung ist es, Werkzeuge bereitzustellen, um die verschiedenen Arten von Ansprüchen zu identifizieren und zu verstehen, die über Wahlen gemacht werden, insbesondere im Kontext der bevorstehenden Präsidentschaftswahlen.

Die amerikanischen Wahlen sind aufgrund ihrer dezentralen Natur einzigartig. Mit fast 10.000 Wahlbehörden hat kein anderes Land ein so geschichtetes Wahlsystem, in dem lokale und staatliche Stellen erheblichen Einfluss auf die Durchführung von Wahlen haben. Wähler in den USA haben oft mehr Möglichkeiten, bei verschiedenen Wahlen abzustimmen, als Menschen in anderen Ländern. Diese Komplexität bedeutet, dass es viele verschiedene Systeme und Technologien gibt, die bei der Durchführung von Wahlen beteiligt sind, was es schwierig macht, die über sie gemachten Ansprüche genau zu beurteilen.

Ausserdem fördert die USA die Meinungsfreiheit, die es Einzelpersonen ermöglicht, ihre Meinungen offen zu äussern. Das schafft eine Mischung aus zuverlässigen und unzuverlässigen Informationen, durch die die Wähler sich hindurchwühlen müssen. Plattformen wie X ermöglichen es, in Echtzeit über Wahlen zu diskutieren, was es entscheidend macht zu verstehen, wie Fehlinformationen die Wahrnehmungen und Entscheidungen der Wähler während Wahlen beeinflussen können.

#Verwandte Arbeiten

Mehrere Studien haben sich damit beschäftigt, wie man Ansprüche automatisch überprüfen und Fehlinformationen aufdecken kann. Es wurden verschiedene Pipelines vorgeschlagen, um die Gültigkeit von Aussagen, die online gemacht werden, zu überprüfen, und es wurden mehrere Datensätze erstellt, um das Verständnis und die Überprüfung von Ansprüchen zu unterstützen. Allerdings zielen nur sehr wenige Datensätze speziell darauf ab, die über Wahlen gemachten Ansprüche zu verstehen, was die Notwendigkeit neuer Werkzeuge und Datensätze für die Forschung unterstreicht.

Vorhandene Datensätze haben sich mit Fehlinformationen in verschiedenen Kontexten befasst, aber keiner hat sich auf Wahlansprüche konzentriert, insbesondere auf die Unterscheidung zwischen menschenverfassten und KI-generierten Inhalten. Diese Lücke in der Forschung motiviert die Schaffung eines neuen Datensatzes und die Implementierung des Kategorisierungssystems.

#Die Wahlanspruchs-Taxonomie

Die neue Taxonomie wurde entwickelt, um Wahlansprüche in sozialen Medien basierend auf den häufigsten Aspekten in Diskussionen zu kategorisieren. Experten für Wahlverwaltung halfen dabei, die Taxonomie zu validieren, um sicherzustellen, dass sie von verschiedenen Zielgruppen, von Akademikern bis zu Wahlbeamten, verstanden werden kann.

Die Taxonomie kategorisiert Ansprüche in mehrere Attribute, einschliesslich:

1. Zuständigkeit: Dies umfasst die Regierungsebene, die für die Durchführung von Wahlen verantwortlich ist, was Landkreise, Bundesstaaten oder Bundeswahlen einschliessen kann.

2. Infrastruktur: Dies konzentriert sich auf die Werkzeuge und Prozesse, die zur Durchführung von Wahlen verwendet werden, die weiter unterteilt werden in:

   • Ausrüstung: Verschiedene Abstimmungsgeräte und -systeme, wie elektronische Maschinen oder Papierwahlzettel.
   • Prozesse: Aktivitäten wie Wählerregistrierung oder Stimmenauszählung.

3. Vorwurf von Betrug: Dies bezieht sich auf Anschuldigungen bezüglich Wahlbetrugs, die Behauptungen über Korruption oder illegales Wählen einschliessen können.

Dieser strukturierte Ansatz zielt darauf ab, eine Reihe von Standards für zukünftige Forschungen zu schaffen und wertvolle Trainingsdaten für maschinelles Lernen im Kontext von Wahlansprüchen bereitzustellen.

#Der Datensatz

Der neue Datensatz enthält 9.900 Tweets, die jeweils gekennzeichnet sind, um zu zeigen, ob sie von Menschen oder von KI generiert wurden. Insgesamt wurden 1.550 dieser Tweets mit Hilfe der neu vorgeschlagenen Taxonomie annotiert, um die Natur der Ansprüche besser zu verstehen.

#Datensammlung

Um den menschlich generierten Teil des Datensatzes zu erfassen, zogen die Forscher aus einem bestehenden Datensatz von Tweets, die sich auf die Präsidentschaftswahlen in den USA 2020 beziehen. Schlüsselwörter, die mit Wahlthemen in Zusammenhang stehen, wurden verwendet, um die relevanten Tweets herauszufiltern und sicherzustellen, dass der Fokus auf spezifischen Ansprüchen über den Wahlprozess liegt.

Für die KI-generierten Tweets wurden Sprachmodelle eingesetzt, um synthetische Tweets zu erstellen, die menschliches Schreiben nachahmen, basierend auf vordefinierten Ansprüchen und Themen. Dieser Ansatz sollte Tweets produzieren, die in die etablierten Kategorien passen, die den Wahl-Diskurs widerspiegeln.

#Anspruchscharakterisierung

Um zu sehen, wie gut verschiedene Sprachmodelle die Merkmale von Wahlansprüchen extrahieren konnten, wurden Umfragen durchgeführt. Mehrere Modelle wurden auf ihre Fähigkeit bewertet, die Taxonomie-Attribute, die in den Tweets vorhanden sind, zu identifizieren.

#Leistung der Sprachmodelle

Die Forschung ergab, dass, obwohl Sprachmodelle in vielen Aufgaben der natürlichen Sprachverarbeitung gut abschneiden, sie bei der Verständigung spezifischer Ansprüche in diesem Kontext eine moderate Fähigkeit zeigten. Verschiedene Modelle zeigten unterschiedliche Ergebnisse, einige erzielten eine bessere Leistung als andere bei der Identifizierung von Zuständigkeitsinformationen, Arten von Geräten und Prozessen.

Die Modelle hatten oft Schwierigkeiten mit impliziten Hinweisen auf bestimmte Informationen in Tweets, was darauf hindeutet, dass sie zwar kohärente Texte generieren können, aber möglicherweise nicht die Nuancen von Ansprüchen über Wahlen genau erfassen.

#Autorenattribution

Die Forschung untersuchte auch, wie effektiv Maschinen erkennen konnten, ob ein Tweet von einem Menschen oder von KI geschrieben wurde. Die Forscher setzten verschiedene Modelle für maschinelles Lernen ein, um Tweets basierend auf ihrer Autorschaft zu klassifizieren, ob menschlich oder eines der spezifischen Sprachmodelle.

#Klassifikationsmodelle

Es wurden verschiedene Klassifikationsmodelle getestet, wie Random Forest, BERT und RoBERTa, um ihre Effektivität bei der Unterscheidung zwischen menschlichen und KI-generierten Inhalten zu bewerten. Transformermodelle schnitten im Allgemeinen besser ab, was darauf hindeutet, dass sie Muster und Phrasen, die typischerweise mit unterschiedlichen Autoren in Verbindung stehen, genauer identifizieren konnten.

#Turing-Test

Um weiter zu bewerten, wie überzeugend KI-generierte Inhalte menschliches Schreiben nachahmen können, wurde ein Turing-Test durchgeführt. Menschliche Annotatoren wurden gebeten, zu identifizieren, ob Tweets von einer Person oder einer KI generiert wurden. Die Ergebnisse zeigten, dass Menschen nur in etwa 36 % der Fälle die Quelle der Tweets genau identifizieren konnten, was hervorhebt, wie nah KI menschliches Schreiben imitieren kann.

#Ergebnisse und Diskussion

Die allgemeinen Ergebnisse weisen auf die Effektivität der Taxonomie und des Datensatzes beim Verständnis von Wahlansprüchen in sozialen Medien hin. Trotz der Fähigkeiten von Sprachmodellen bleibt es eine Herausforderung, spezifische Informationen aus Tweets zu extrahieren, insbesondere bei nuancierten oder impliziten Hinweisen. Die Fähigkeit von Maschinen, die Autorschaft zu klassifizieren, ist erfolgreicher als menschliche Versuche, was darauf hinweist, dass KI in der Lage ist, stilistische Unterschiede im Schreiben effektiv zu erkennen.

Die Forschung unterstreicht die Notwendigkeit für Werkzeuge und Methoden, um Fehlinformationen im Wahlkontext zu bekämpfen, insbesondere während KI weiterhin Fortschritte macht und Inhalte erzeugt, die glaubwürdig aussehen. Zukünftige Arbeiten zielen darauf ab, diese Erkenntnisse zu erweitern, indem mehr Daten annotiert, das Kategorisierungssystem verfeinert und bessere Möglichkeiten erforscht werden, um KI in Prozesse zur Faktenüberprüfung zu integrieren.

#Fazit und Zukunftsarbeiten

Eine neuartige Taxonomie zur Kategorisierung von wahlbezogenen Ansprüchen in sozialen Medien wurde eingeführt, zusammen mit einem neuen Datensatz, der auf dieses Problem zugeschnitten ist. Die gewonnenen Erkenntnisse aus dieser Forschung zeigen eine moderate Leistung der Sprachmodelle, wenn es darum geht, spezifische Ansprüche zu charakterisieren, und demonstrieren überlegene Fähigkeiten von Modellen des maschinellen Lernens im Vergleich zu menschlichen Versuchen zur Identifizierung der Quellen von Tweets.

Zukünftige Richtungen umfassen die Erweiterung des Datensatzes, die Verbesserung der Leistung der Modelle durch fortgeschrittene Techniken und die Ausweitung der Forschung, um breitere Aspekte von Fehlinformationen über Wahlansprüche hinaus zu adressieren. Indem der Fokus auf der effektiven Identifizierung und Verifizierung von Ansprüchen liegt, zielt diese Forschung darauf ab, zur allgemeinen Integrität und Vertrauenswürdigkeit von Wahlprozessen im Zeitalter von sozialen Medien und KI-generierten Inhalten beizutragen.