Die Wahrheit in den Aussagen der sozialen Medien entwirren

Soziale Medien sind wie ein riesiger Spielplatz, wo alle ihre Meinungen und „Fakten“ rausschreien. Aber mal ehrlich, nicht alles, was geteilt wird, ist wahr. Tatsächlich können manche Posts richtig irreführend oder fake sein. Genau hier kommt die grosse Aufgabe ins Spiel, herauszufinden, welche Behauptungen tatsächlich wahr sind. So wie wir die Spielzeuge aussortieren, die Spass machen, von denen, die kaputt sind, müssen wir auch die Ansprüche in den sozialen Medien durchforsten, um herauszufinden, was echt ist und was nicht.

Bei Millionen von Posts, die jeden Tag erscheinen, kann es schwierig sein, da den Überblick zu behalten. Deshalb brauchen wir Maschinen, die uns helfen. Das bringt uns zu einem speziellen Wettbewerb, der sich auf eine bestimmte Mission konzentriert: Claim Span Identification. Einfacher gesagt, es geht darum, die genauen Teile eines Textes zu finden, die Behauptungen aufstellen.

#Claim Span Identification (CSI) erklärt

Denk an eine Behauptung wie an diesen Freund, der immer grosse Geschichten erzählt. Du willst herausfinden, was sie wirklich meinen, ohne in ihren Geschichten gefangen zu werden. Die Aufgabe der Claim Span Identification (CSI) macht genau das, indem sie die Phrasen in Posts identifiziert, die behaupten, Fakten zu nennen. Es ist nicht so einfach, wie nur zu sagen: „Das ist eine Behauptung“ oder „Das ist keine Behauptung.“ Stattdessen erfordert es ein tieferes Eintauchen in den Text und das Verständnis seines Wesens.

Um das zu verdeutlichen, wenn jemand tweetet: „Ich habe gehört, dass Karotten helfen können, im Dunkeln zu sehen“, ist die Behauptung hier: „Karotten helfen können, im Dunkeln zu sehen.“ Die Aufgabe besteht darin, diesen spezifischen Satz zu identifizieren, so wie man die Schatzkiste auf der Karte eines Piraten findet.

#Der Wettbewerb

Dieser Wettbewerb wurde für kluge Köpfe organisiert, um die CSI-Aufgabe anzugehen. Die Teilnehmer bekamen einen neuen Datensatz mit Tausenden von Posts in zwei Sprachen: Englisch und Hindi. Das Ziel war es, dass die Teams Methoden entwickeln, um die Behauptungsabschnitte aus diesen Posts zu identifizieren.

Der Datensatz bestand aus 8.000 Posts auf Englisch und 8.000 auf Hindi, die jeweils von Menschen gekennzeichnet wurden, die mühevoll markiert haben, welche Teile der Posts Behauptungen aufstellten. Die Teilnehmer wurden beauftragt, Lösungen zu entwickeln, die diese Texte durchforsten und die Behauptungen genau herausfinden konnten.

#Der Datensatz

Stell dir vor, du hast eine Bibliothek voller Bücher, wobei jedes Buch ein paar Sätze mit wichtigen Behauptungen hat. So war der Datensatz strukturiert. Er wurde so gestaltet, dass er nützlich ist und verschiedene Arten von Behauptungen enthält, damit die darauf trainierten Modelle verschiedene Szenarien verstehen können.

Der englische Teil des Datensatzes beinhaltete Posts über COVID-19-Impfstoffe, die besonders sensibel sind, angesichts der Fehlinformationen, die im Umlauf sind. Auf der anderen Seite enthielt die Hindi-Seite Posts über Fake News und Hassrede, was verschiedene, aber gleich wichtige soziale Probleme widerspiegelt.

Menschen, die erfahren und in beiden Sprachen fliessend waren, markierten die Ansprüche in den Posts. Sie wurden darin geschult, wie man Claims erkennt, und wurden für ihre Arbeit bezahlt. Das Ergebnis? Ein sorgfältig kuratierter Datensatz, den die Teilnehmer des Wettbewerbs nutzen konnten, um ihre Fähigkeiten zu testen.

#Die Herausforderung der Claim Span Identification

Eine Behauptung in einem Text zu identifizieren, ist nicht so einfach, wie man denkt. Es geht nicht nur darum, einen Satz zu lesen und ein Urteil zu fällen. Die Aufgabe ist komplexer und erfordert Aufmerksamkeit fürs Detail, ähnlich wie ein Detektiv, der nach Hinweisen sucht.

Die CSI-Aufgabe beinhaltet, jedes Wort in einem Post zu überprüfen. Zum Beispiel, wenn ein Post sagt: „Hunde können schneller rennen als Katzen“, ist der Behauptungsabschnitt „Hunde können schneller rennen als Katzen.“ Wenn der Post jedoch mit „aber das habe ich nur gehört“ endet, ist die Herausforderung, diesen früheren Abschnitt zu identifizieren, ohne sich vom Qualifikator am Ende ablenken zu lassen.

#Überblick über den Wettbewerb

Der Wettbewerb zog Teams aus verschiedenen Regionen an, die alle gespannt darauf waren, ihre Problemlösungsfähigkeiten unter Beweis zu stellen. Die Teilnehmer wurden danach bewertet, wie gut sie die Behauptungsabschnitte in den englischen und Hindi-Posts identifizieren konnten.

Die Teams hatten unterschiedliche Ansätze, um die Herausforderung anzugehen. Einige konzentrierten sich mehr auf die englischen Posts, während andere versuchten, ihre Anstrengungen zwischen beiden Sprachen auszubalancieren. Die Bewertungskriterien waren streng, um sicherzustellen, dass die Teams die Richtlinien einhielten und die bestmöglichen Lösungen lieferten.

#Verschiedene Wettbewerbssparten

Es gab drei Sparten für den Wettbewerb, die jeweils unterschiedlichen Ressourcen und Strategien gerecht wurden:

1. Constrained English Track: Die Teams konnten nur die für den Wettbewerb bereitgestellten englischen Trainings- und Validierungsdatensätze verwenden. Diese Sparte betonte das Verständnis und das Arbeiten innerhalb eines bestimmten Rahmens.

2. Constrained Hindi Track: Ähnlich wie bei der englischen Sparte waren die Teilnehmer auf die Verwendung der Hindi-Trainings- und Validierungsdatensätze für ihre Modelle beschränkt.

3. Unconstrained Multilingual Track: Hier hatten die Teams die Freiheit, alle Ressourcen zu nutzen, die sie wollten, was es wettbewerbsfähiger und vielfältiger machte.

Die Teilnehmer konnten wählen, in einer oder mehreren Sparten zu konkurrieren und Lösungen für jede einzureichen. So konnten die Teams ihre besten Arbeiten in verschiedenen Szenarien und Sprachen präsentieren.

#Leistungsevaluation

All die harte Arbeit kulminierte in einer Leistungsevaluation basierend auf bestimmten Metriken. Mit Scores wie Macro-F1 und Jaccard-Metriken wurden die Teams danach beurteilt, wie genau sie die Behauptungsabschnitte vorhersagen konnten.

Denk daran wie an ein Dartspiel; je näher du mit deinen Vorhersagen am Bullseye bist, desto besser dein Score. Die Endergebnisse zeigten, wie effektiv jedes Team die Behauptungsabschnitte aus den bereitgestellten Posts identifizieren konnte.

#Teilnehmende Teams

Der Wettbewerb erlebte die Teilnahme mehrerer Teams, die jeweils ihre einzigartigen Ansätze und Lösungen einbrachten. Während die meisten Teams aus Indien stammten, gab es auch Beteiligung von Teams aus den USA und Bangladesch.

Die Organisatoren trugen ebenfalls ein Basismodell bei, um einen Vergleich zu haben. Obwohl das Organisationsteam eine solide Grundlage hatte, nahmen die teilnehmenden Teams die Herausforderung an und versuchten, das Basismodell und einander zu übertreffen.

#Gewinnerlösungen

Unter den Teams stachen einige durch ihre aussergewöhnlichen Methoden hervor:

• JU NLP: Dieses Team hat mit seinen Vorverarbeitungsschritten alles richtig gemacht. Sie haben die Daten aufgeräumt, bevor sie in die Verarbeitungsphase eingestiegen sind, was ihnen geholfen hat, die besten Ergebnisse in den englischen und Hindi-Spuren zu erzielen. Sie sorgten dafür, dass alles standardisiert war, von URLs bis hin zu Nutzererwähnungen, und gaben ihren Modellen klare Daten, mit denen sie arbeiten konnten.

• FactFinders: Dieses Team gab sich nicht mit nur einem Modell zufrieden. Sie haben verschiedene Modelle feinabgestimmt, gemischt und angepasst, um zu sehen, was am besten für die englischen und Hindi-Spuren funktionierte. Die Kreativität in ihrem Ansatz, insbesondere mit der Nutzung zusätzlicher Datensätze, half ihnen, hohe Werte zu erreichen.

• DLRG: Dieses Team verfolgte einen einzigartigen Ansatz, indem es ein 3-Klassen-BIO-System für die Token-Klassifikation verwendete, was bedeutete, dass sie die Behauptungen noch weiter aufschlüsselten, als nur sie zu identifizieren. So konnten sie nuanciertere Klassifikationen bieten und solide Ergebnisse in der mehrsprachigen Kategorie erzielen.

#Analyse der Ergebnisse

Nach dem Wettbewerb analysierten die Organisatoren die Ergebnisse und Techniken, die von den Teams verwendet wurden. Es wurde klar, dass Transformermodelle wie BERT, RoBERTa und XLM-RoBERTa die bevorzugten Modelle waren. Diese Modelle haben die erstaunliche Fähigkeit, den Kontext von Sprache zu erfassen, was für Aufgaben wie die Identifikation von Behauptungen entscheidend ist.

Die Ergebnisse zeigten, dass während die unkonstruierte mehrsprachige Sparte ein harter Brocken war, die strukturierten englischen und Hindi-Spuren bessere und konsistentere Ergebnisse lieferten. Die Teilnehmer in der mehrsprachigen Sparte hatten Schwierigkeiten, sogar das Basismodell zu schlagen.

#Fazit

Der ICPR 2024 Wettbewerb zur mehrsprachigen Claim-Span-Identifikation war ein grosser Schritt, um zu verstehen, wie man Ansprüche im riesigen Dschungel der sozialen Medien verifizieren kann. Die Herausforderungen zeigen die Komplexität, die mit der genauen Identifikation von Ansprüchen verbunden ist, und beweisen, dass in diesem Bereich noch viel Arbeit vor uns liegt.

Während die Teilnehmer eine Vielzahl von Methoden und Techniken entwickelt haben, konnte keiner das Basismodell signifikant übertreffen, was den fortdauernden Bedarf an Innovation im Bereich der Claim Span Identification zeigt.

Die Organisatoren hoffen, dass der öffentlich zugängliche Datensatz zukünftige Forscher motivieren kann, weiterhin diese Herausforderungen anzugehen und zur sich entwickelnden Landschaft des Fehlermedienmanagements beizutragen. Schliesslich haben wir alle das Recht zu wissen, was wahr ist und was, nun ja, einfach nur eine grosse Geschichte ist!