Bewertung von ChatGPTs Datenannotierungsfähigkeiten

In den letzten Jahren haben grosse Sprachmodelle wie ChatGPT gezeigt, dass sie eine Menge Aufgaben erledigen können, darunter auch Datenannotation. Datenannotation ist der Prozess, bei dem Daten mit Labels versehen werden, damit sie zum Trainieren von Machine-Learning-Modellen genutzt werden können. Diese Studie untersucht, ob ChatGPT effektiv Daten zu sozialen Themen labeln kann. Zu diesen Themen gehören Dinge wie Fehlinformationen während der COVID-19-Pandemie, Mobbing in sozialen Medien und irreführende Nachrichtenartikel.

#Zweck der Studie

Das Hauptziel dieser Forschung ist zu prüfen, ob ChatGPT Labels erzeugen kann, die den von menschlichen Annotatoren vergebenen Labels ähnlich sind. Das ist wichtig, weil viele Forschungsteams Schwierigkeiten haben, genug menschliche Annotatoren zu bekommen, weil es zu teuer ist. Wenn ChatGPT helfen kann, könnte das die Forschung im Bereich soziale Computerwissenschaften für alle zugänglicher machen.

#Methodologie

Die Forscher haben ChatGPTs Fähigkeit zur Datenannotation in sieben verschiedenen Datensätzen untersucht, die alle mit einem dringenden sozialen Thema verbunden sind. Sie liessen ChatGPT Textdaten labeln und verglichen diese Labels dann mit denen von menschlichen Annotatoren. Der Fokus lag darauf, wie gut ChatGPT die menschlichen Annotationen in Bezug auf die Genauigkeit reproduzieren konnte.

#Ausgewählte Datensätze

Die Studie umfasste sieben Datensätze:

1. Impfhaltungen: Dieser Datensatz enthält Tweets über die Einstellungen der Menschen zu COVID-19-Impfstoffen.
2. COVID-19 Hassrede: Dieser Datensatz konzentriert sich auf Tweets, die Hassrede gegen asiatische Gemeinschaften während der Pandemie enthalten.
3. COVID-19 Falschnachrichten: Dieser Datensatz beinhaltet Posts, die falsche Informationen zu COVID-19 verbreiten.
4. Soziale Bots: Dieser Datensatz enthält Tweets sowohl von Menschen als auch von Social-Media-Bots.
5. Anti-LGBT Cybermobbing: Dieser Datensatz fokussiert sich auf Tweets, die möglicherweise Cybermobbing gegen die LGBTQ+-Gemeinschaft beinhalten.
6. Clickbait-Überschriften: Dieser Datensatz handelt von Nachrichtenüberschriften, die darauf abzielen, Klicks zu generieren, ohne wesentliche Inhalte zu liefern.
7. Russisch-Ukrainische Haltung: Dieser Datensatz beinhaltet Tweets über die Meinungen der Menschen zum Russisch-Ukrainischen Krieg.

#Annotierungsprozess

Um die Datensätze zu annotieren, verwendeten die Forscher ChatGPT, um Texte in spezifische Kategorien basierend auf den Kriterien jedes Datensatzes zu klassifizieren. Sie entwickelten Eingabeaufforderungen, die ChatGPT anleiteten, wie die Tweets klassifiziert werden sollten.

Ein typischer Prompt könnte ChatGPT anweisen, einen Tweet zur COVID-19-Impfung als "Pro-Impfung", "Anti-Impfung" oder "Neutral" zu labeln. Das Forschungsteam stellte sicher, dass die Eingabeaufforderungen einfach und klar waren, damit ChatGPT ihnen leicht folgen konnte.

#Leistungsbewertung

Um zu evaluieren, wie gut ChatGPT abgeschnitten hat, verglichen die Forscher die von ChatGPT generierten Labels mit den ursprünglichen Labels von menschlichen Annotatoren. Sie massen die Leistung mit einem Mass namens F1-Score, das Präzision und Recall in einem Wert kombiniert. Ein höherer F1-Score zeigt eine bessere Leistung an.

#Ergebnisse

Insgesamt konnte ChatGPT Daten mit einem durchschnittlichen F1-Score von etwa 72,00 % labeln. Dieser Score variierte jedoch erheblich zwischen den verschiedenen Datensätzen.

#Datensatzleistung

• Clickbait-Überschriften: Hier hat ChatGPT am besten abgeschnitten, mit einem F1-Score von 89,56 %. Das bedeutet, dass ChatGPT die meisten Überschriften korrekt als Clickbait oder nicht identifizierte.

• COVID-19 Falschnachrichten: ChatGPT erzielte einen soliden F1-Score von 83,43 % und schnitt gut ab bei der Unterscheidung zwischen echten und falschen Nachrichten während der Pandemie.

• Anti-LGBT Cybermobbing: ChatGPT erreichte einen F1-Score von 80,03 %, was zeigt, dass es Inhalte zum Cybermobbing ziemlich gut erkennen konnte.

• Russisch-Ukrainische Haltung: ChatGPT schaffte einen F1-Score von 76,26 %, was die Fähigkeit zeigt, Tweets über den Krieg zu klassifizieren.

• Impfhaltungen: ChatGPT schnitt schlechter ab, mit einem F1-Score von 59,17 %, was darauf hinweist, dass es Schwierigkeiten hatte, Haltungen zu Impf-Tweets zu identifizieren.

• Soziale Bots: Mit einem F1-Score von 63,70 % fiel es ChatGPT schwer, zwischen menschlichen und von Bots erzeugten Tweets zu unterscheiden.

• COVID-19 Hassrede: Dies war der Datensatz, in dem ChatGPT am schlechtesten abschnitt, mit einem F1-Score von nur 51,88 %. ChatGPT hatte Schwierigkeiten, Hassrede in Tweets genau zu labeln.

Diese Ergebnisse deuten darauf hin, dass ChatGPT zwar das Potenzial hat, bei der Datenannotation zu helfen, seine Effektivität jedoch je nach spezifischer Aufgabe variieren kann.

#Erkenntnisse

Die Forscher fanden einige wichtige Muster in ChatGPTs Leistung. Zum Beispiel schnitt es gut ab, wenn es um die Identifizierung von Clickbait-Überschriften ging, hatte aber Probleme bei der genauen Kennzeichnung von Hassrede. Sie bemerkten auch, dass ChatGPT oft inkonsistente Ergebnisse über verschiedene Labels im gleichen Datensatz lieferte.

#Vorhersage der Leistung

Um Forschern zu helfen, zu bestimmen, wann es angemessen wäre, ChatGPT für das Labeln zu nutzen, führte die Studie ein Tool namens GPT-Rater ein. Dieses Tool ist dazu gedacht, vorherzusagen, ob ChatGPT wahrscheinlich in der Lage ist, Daten für eine gegebene Aufgabe korrekt zu labeln.

#Wie GPT-Rater funktioniert

GPT-Rater nutzt Machine Learning, um den Text zu analysieren und die Genauigkeit der Labels von ChatGPT vorherzusagen. Forscher können eine kleine Stichprobe von labelten Daten eingeben, und GPT-Rater gibt eine Schätzung ab, wie gut ChatGPT wahrscheinlich bei dem gesamten Datensatz abschneiden wird. Das kann den Forschern Zeit und Ressourcen sparen, indem es sie zu Aufgaben leitet, bei denen ChatGPT wahrscheinlicher erfolgreich ist.

#Fazit

Die Studie kommt zu dem Schluss, dass ChatGPT als nützliches Werkzeug für die Datenannotation dienen kann, besonders in spezifischen Bereichen wie der Erkennung von Clickbait und der Identifizierung von Fehlinformationen. Es gibt jedoch Einschränkungen, insbesondere in Bereichen wie Hassrede und der Erkennung von Impfhaltungen, wo menschliche Annotatoren möglicherweise weiterhin für zuverlässigere Ergebnisse benötigt werden.

Insgesamt hat die Nutzung von ChatGPT in der sozialen Computerforschung das Potenzial, die Kosten zu senken und Forschern Unterstützung zu bieten, sodass sie sich auf komplexere Aufgaben konzentrieren können. Die Entwicklung von Tools wie GPT-Rater kann diesen Ansatz weiter verbessern, indem es eine Möglichkeit bietet, zu bestimmen, wann ChatGPTs Fähigkeiten am besten anwendbar sind.

#Zukünftige Richtungen

Die Forscher erwähnten mehrere Bereiche für zukünftige Arbeiten:

1. Erweiterung der Datensätze: Sie planen, mehr Datensätze zu untersuchen, die eine Vielzahl sozialer Themen abdecken, die über die in dieser Studie untersuchten hinausgehen.

2. Verfeinerung der Prompts: Die Verbesserung der Eingabeaufforderungen, die mit ChatGPT verwendet werden, könnte zu noch besseren Leistungen führen, daher werden fortlaufende Bemühungen in diesem Bereich angestrebt.

3. Verbesserung von GPT-Rater: Sie wollen die Fähigkeit von GPT-Rater verbessern, die Leistung von ChatGPT vorherzusagen, möglicherweise mit weniger gelabelten Daten, um genaue Vorhersagen treffen zu können.

Zusammenfassend lässt sich sagen, dass, obwohl ChatGPT vielversprechend ist, fortlaufende Forschung und Entwicklung entscheidend sind, um sein Potenzial bei der Unterstützung der Datenannotation in sozialen Computerwissenschaften voll auszuschöpfen.