Maschinell erzeugten Text erkennen: Ein neues Framework

Grosse Sprachmodelle (LLMs) sind bei vielen Sprachaufgaben beliebt geworden, wie z.B. beim Klassifizieren von Texten, Analysieren von Stimmungen, Übersetzen von Sprachen und Beantworten von Fragen. Diese Modelle können Texte produzieren, die sehr ähnlich sind, wie Menschen sie schreiben würden. Da sie sich verbessern und häufiger vorkommen, ist es wichtig herauszufinden, wie man Texte erkennt, die von Maschinen und nicht von Menschen erstellt wurden. Dieser Bedarf entsteht aus Sorgen um Vertrauen, Verantwortung und Vorurteile.

Derzeit variieren die Methoden zur Erkennung von maschinell erzeugtem Text (MGT) oft. Sie werden mit verschiedenen Modellen, Datensätzen und Setups getestet. Deshalb gibt es keinen klaren Weg, diese Erkennungsmethoden zusammen zu bewerten. Diese Arbeit zielt darauf ab, dieses Problem zu lösen, indem ein neues Framework namens MGTBench erstellt wird, das dabei helfen soll, wie gut verschiedene Methoden MGT erkennen.

#Der Bedarf an Erkennung

Mit dem Aufstieg der LLMs sind die Bedenken über ihre Ergebnisse gewachsen. Diese Modelle können sehr realistische Texte erzeugen, was Probleme verursachen kann, wenn diese Texte ungenau oder faktisch falsch sind. Sie können in Bereichen wie Bildung falsch verwendet werden, wo es schwer zu sagen ist, ob Schüler ihre eigenen Arbeiten oder maschinelle Hilfe nutzen. Ausserdem, wenn dieser Text falsche Informationen oder Propaganda verbreitet, kann es schwierig sein, die Quelle zurückzuverfolgen. Um diese Herausforderungen anzugehen, haben Forscher Methoden entwickelt, um MGT automatisch zu erkennen.

Es gibt zwei Hauptkategorien für diese Erkennungsmethoden: metrische Methoden und modellbasierte Methoden. Metrische Methoden verwenden spezifische Messungen wie Wort-Ränge oder Wahrscheinlichkeiten, um zu bestimmen, ob ein Text MGT oder menschlich geschriebener Text (HWT) ist. Modellbasierte Methoden beinhalten das Trainieren eines Klassifikationsmodells mit MGT- und HWT-Texten, um ihm zu helfen, den Unterschied zu erkennen.

#Aufbau von MGTBench

MGTBench zielt darauf ab, einen einheitlichen Ansatz zur Bewertung der Leistung verschiedener Erkennungsmethoden bereitzustellen. Es umfasst drei Hauptkomponenten: ein Eingabemodul, ein Erkennungsmodul und ein Bewertungsmodul.

#Eingabemodul

Das Eingabemodul hilft dabei, verschiedene Datensätze zu verarbeiten, sodass Forscher Daten aus bekannten Quellen einfach nutzen können. So ist es für andere einfach, ihre Datensätze zu MGTBench hinzuzufügen.

#Erkennungsmodul

In diesem Modul werden mehrere Erkennungsmethoden, sowohl metrische als auch modellbasierte, implementiert. Derzeit unterstützt MGTBench acht verschiedene Erkennungsmethoden, die ein einheitliches Eingabe- und Ausgabenformat einhalten.

#Bewertungsmodul

Das Bewertungsmodul ermöglicht die Messung der Leistung dieser Erkennungsmethoden. Es verwendet fünf gängige Metriken: Genauigkeit, Präzision, Recall, F1-Score und AUC (Fläche unter der ROC-Kurve). Diese Metriken helfen dabei, zu bestimmen, wie gut jede Erkennungsmethode funktioniert.

#Experimentelles Setup

Für die Bewertung wurden drei Datensätze ausgewählt. Der erste, TruthfulQA, enthält Fragen aus verschiedenen Kategorien wie Gesundheit und Politik. Der zweite Datensatz, SQuAD1, besteht aus vielen Frage-Antwort-Paaren, die aus verschiedenen Artikeln stammen. Der letzte Datensatz, NarrativeQA, enthält Geschichten mit dazugehörigen Fragen, die das Verständnis des Lesers testen sollen.

Für jede Frage in diesen Datensätzen wurde ChatGPT gebeten, Antworten zu liefern. Sowohl menschliche Antworten als auch von ChatGPT generierte Antworten wurden einbezogen, was einen Vergleich der beiden ermöglichte.

Nach der Sammlung dieser Informationen wurden 80% der Einträge für das Training beiseitegelegt, während der Rest für das Testen verwendet wurde. Mit verschiedenen Modellen aus den Familien GPT2 und GPT3 wurde die Leistung getestet, um zu sehen, wie gut jede Erkennungsmethode funktioniert.

#Leistung der Erkennungsmethoden

Bei den Tests stellte sich heraus, dass der ChatGPT-Detektor, der mit Antworten von ChatGPT trainiert wurde, die anderen Erkennungsmethoden konstant übertraf. Zum Beispiel erzielte der ChatGPT-Detektor im TruthfulQA-Datensatz einen F1-Score von 0,997, während andere Methoden wie Log-Likelihood einen viel niedrigeren Wert von 0,896 erreichten. Metrische Methoden wie Log-Likelihood und Entropie schnitten ebenfalls ziemlich gut ab, was darauf hindeutet, dass sie bestimmte MGTs erkennen konnten, da sie eng mit den Erwartungen des Modells übereinstimmen, wie sie aussehen sollten.

Allerdings war die Leistung des OpenAI-Detektors weniger beeindruckend. Er wurde mit Ausgaben eines früheren GPT-Modells trainiert und hatte Schwierigkeiten, neuere, höherwertige MGTs, die von ChatGPT produziert wurden, zu erkennen.

#Erkennungseffizienz

Die Zeit, die für die Ausführung jeder Erkennungsmethode benötigt wurde, wurde bewertet und zeigte, dass die meisten Methoden ähnliche Zeitkosten hatten, mit einer Ausnahme: DetectGPT. Diese Methode benötigte deutlich mehr Zeit, da sie mehrere Runden der Textstörung für genaue Wahrscheinlichkeitsabschätzungen erfordert. Die effizienteste Erkennungsmethode war dennoch der ChatGPT-Detektor, der die beste Leistung in angemessener Zeit bot.

#Untersuchung von Faktoren, die die Erkennung beeinflussen

Eine weitere Analyse untersuchte, wie die Textlänge und die verwendeten Eingabeaufforderungen die Erkennungsleistung beeinflussten. Für MGTs mit weniger als 25 Wörtern hatten die meisten Erkennungsmethoden Schwierigkeiten, sie von HWTs zu unterscheiden. Zum Beispiel zeigte die Log-Likelihood-Methode einen Rückgang der Leistung, als sie mit kürzeren Texten konfrontiert wurde.

Interessanterweise behielt der ChatGPT-Detektor seine Effektivität bei, was darauf hinweist, dass er trotz der Textlänge bestimmte Merkmale in den MGTs erkennen konnte.

#Verschiedene Eingabeaufforderungen

Ein weiterer Teil der Studie untersuchte, wie unterschiedliche Aufforderungen, die ChatGPT beim Generieren von Texten gegeben wurden, die Erkennung beeinflussten. Neue Eingabeaufforderungen wurden entworfen, um ChatGPT zu ermutigen, menschlichere Antworten zu erzeugen. Die Ergebnisse zeigten, dass bestimmte Aufforderungen tatsächlich die Effektivität der Erkennungsmethoden verringern konnten. Trotzdem schnitt der ChatGPT-Detektor weiterhin gut ab, was darauf hinweist, dass er sich an einige Änderungen im Textgenerierungsprozess anpassen konnte.

#Tests mit adversarialen Angriffen

Um die Robustheit des ChatGPT-Detektors zu bewerten, wurden adversarielle Angriffe eingesetzt. In diesem Kontext beinhalteten Angriffe subtile Modifikationen von MGTs, um zu sehen, ob sie der Erkennung entgehen konnten. Bemerkenswerterweise wurde eine hohe Erfolgsquote erzielt, was bedeutet, dass viele MGTs nach kleinen Änderungen fälschlicherweise als HWTs klassifiziert werden konnten. Diese Erkenntnis hebt eine signifikante Schwachstelle in den bestehenden Erkennungsmethoden hervor und betont die Notwendigkeit für stärkere Abwehrmassnahmen gegen solche Taktiken.

#Fazit

Durch eine systematische Bewertung von MGT-Erkennungsmethoden wurde klar, dass der ChatGPT-Detektor als die vielversprechendste Erkennungsmethode gilt, es jedoch noch Einschränkungen gibt. Viele Methoden haben Schwierigkeiten mit kürzeren Texten und solchen, die mit spezifischen Eingabeaufforderungen generiert werden. Ausserdem können selbst die besten Methoden leicht mit geringfügigen Änderungen am Text umgangen werden.

Die Entwicklung von MGTBench bietet ein wertvolles Werkzeug für Forscher. Es ermöglicht ihnen, verschiedene Erkennungsansätze zu testen und zu vergleichen, in der Hoffnung, das Gebiet der Erkennung maschinell erzeugter Texte voranzubringen. Zukünftige Forschungen können auf diesem Fundament aufbauen, um robustere Erkennungsmethoden zu entwickeln, die besser mit den Herausforderungen umgehen können, die LLMs mit sich bringen.