Bewertung von menschlichen und KI-generierten Essays: Eine Studie

Der Einsatz von Machine-Learning (ML) Modellen zur Bewertung und Benotung von schriftlichen Arbeiten hat in vielen Bereichen zugenommen, wie zum Beispiel beim Verstehen von Sprache, dem Finden von Informationen und dem Überprüfen der Glaubwürdigkeit von Online-Inhalten. Zu diesen Fortschritten gehören grosse Sprachmodelle, wie generative vortrainierte Transformer (GPTs), die Texte erzeugen können. Diese Arbeit beleuchtet die Unterschiede in der Bewertung von Essays durch ML-Modelle, die menschliche Texte bewerten, im Vergleich zu solchen, die von GPTs erzeugt wurden. Um dies zu erforschen, haben wir ein Analyseframework entwickelt, das sich mit der Bewertung von Essays durch ML-Modelle, menschlichen und ML-generierten Essays sowie einem statistischen Modell befasst, das verschiedene Faktoren berücksichtigt, die die Benotung beeinflussen könnten.

Unsere Forschung umfasste die Analyse von 18.460 Essays, sowohl von Menschen geschrieben als auch von GPTs erstellt. Wir fanden heraus, dass transformerbasierte Modelle menschliche Essays besser bewerten als ältere Methoden. Allerdings bewerteten dieselben Transformer-Modelle oft GPT-generierte Texte höher als menschliche Texte, obwohl sie nur auf menschlichem Schreiben trainiert wurden. Diese Studie ist wichtig, weil sie aufzeigt, wie der Aufstieg von generativer KI die Art und Weise verändern kann, wie wir schriftliche Arbeiten bewerten.

#Bedeutung von Machine Learning in der Textbewertung

In den letzten Jahrzehnten hat Machine Learning eine wichtige Rolle bei der Messung der Qualität von schriftlichem Inhalt gespielt. Im Bereich der Sprachverarbeitung treten viele Probleme auf, wie zum Beispiel die Kategorisierung von Texten nach Thema oder Emotionen. Bei der Informationssuche ist die Bewertung von Dokumenten nach Relevanz entscheidend für Suchmaschinen und Empfehlungssysteme.

Mit der Verfügbarkeit von mehr digitalen Inhalten gibt es auch einen Anstieg von problematischen Online-Inhalten. Daher ist die Bewertung durch Machine Learning unerlässlich geworden, um die Glaubwürdigkeit zu überprüfen, Spam, Phishing und Fake News zu identifizieren.

Grosse Sprachmodelle wie GPT haben die Art und Weise verändert, wie Machine Learning Texte angeht. Während viele Behauptungen über die Leistung dieser Modelle existieren, gibt es weniger Beweise aus wissenschaftlichen Forschungen. Die aktuelle Forschung zeigt, dass Modelle wie GPT gute Leistungen bei Prüfungen und anderen Bildungsaufgaben erbringen können. Dennoch besteht weiterhin ein erheblicher Bedarf an solider Forschung zu den Auswirkungen von generativer KI in verschiedenen Bereichen.

#Forschungsziel

Diese Studie zielt darauf ab, systematisch zu untersuchen, wie hybride Umgebungen, die menschliche und maschinell generierte Inhalte kombinieren, die Art und Weise beeinflussen können, wie Machine Learning Modelle Texte bewerten. Anstatt uns nur darauf zu konzentrieren, wie gut maschinell generierte Inhalte im Vergleich zu menschlichen Benchmarks abschneiden, betrachten wir, wie ML-Modelle, die auf menschlichen Texten trainiert wurden, sowohl menschliche als auch von GPT erzeugte Arbeiten bewerten.

Wir konzentrieren uns auf automatisierte Essaybewertung (AES), um dieses Thema zu erforschen, da Machine Learning Modelle weit verbreitet zur Bewertung von Essays in der Bildung und in anderen Kontexten verwendet werden. Dabei liegt der Fokus darauf, die Unterschiede in der Bewertung von Texten, die von Menschen und GPT geschrieben wurden, zu verstehen.

#Forschungsfragen

Um unser Thema zu untersuchen, schlagen wir drei Fragen vor:

1. Wie effektiv sind moderne, merkmalsbasierte und tiefenlernende Modelle für die automatisierte Essaybewertung?
2. Wie bewerten AES-Modelle, die auf menschlichem Text trainiert wurden, von GPT generierte Texte? Wie beeinflussen verschiedene Dokumenttypen diese Bewertungen?
3. Welche zentralen Elemente im Schreiben unterscheiden sich am stärksten zwischen menschlichen und GPT-generierten Texten?

#Analyseframework und Testumgebung

Unsere Analyse kombiniert fortschrittliche Machine Learning Modelle zur Essaybewertung und menschlich versus maschinell generierte Texte. Die Testdaten umfassen 15.437 menschlich verfasste Essays und 3.023 Essays, die mit GPT-3.5 und GPT-4 erstellt wurden. Diese Essays stammen aus verschiedenen Schreibaufforderungen und wurden verwendet, um zu studieren, wie verschiedene Bewertungsmethoden abschneiden.

Transformerbasierte Sprachmodelle wie BERT und RoBERTa sind enthalten, da sie bessere Ergebnisse als traditionelle merkmalsbasierte Methoden oder ältere neuronale Netzwerke gezeigt haben. Bei der Untersuchung dieser Modelle fanden wir heraus, dass transformerbasierte Systeme menschliche Essays höher bewerten und GPT-generierte Essays im Durchschnitt höher bewerten im Vergleich zu traditionellen merkmalsbasierten Methoden. Letztere neigen dazu, menschliche Essays erheblich besser zu bewerten.

#Benchmark-Bewertungsergebnisse

Unsere Forschung konzentrierte sich darauf, zu bestimmen, wie effektiv die verschiedenen ML-Modelle bei der Bewertung von menschlich verfassten Essays waren. Wir trainierten unsere Modelle separat auf zwei Haupt-Testumgebungen, um die beste Leistung zu gewährleisten. Der Vergleich der Effektivität unserer Modelle lieferte signifikante Ergebnisse. Insbesondere schnitten die Modelle auf Basis von Transformer-Architekturen deutlich besser ab im Vergleich zu CNN/RNN und merkmalsbasierten Methoden.

Zum Beispiel bewerteten die BERT- und RoBERTa-Modelle menschliche Essays genauer als traditionelle Methoden. Ausserdem bewerteten die Transformer-Modelle nicht nur menschlich generierte Essays gut, sondern vergaben auch höhere Bewertungen für GPT-generierte Essays, während traditionellere Modelle solche Ergebnisse nicht zeigten.

#Testumgebungen für menschliche Texte

Für unsere Studie verwendeten wir zwei Hauptdatensätze mit menschlich generierten Essays. Der erste war der Automated Student Assessment Prize (ASAP), der aus zahlreichen Schreibaufforderungen besteht, die darauf abzielen, verschiedene Schreibfähigkeiten zu messen. Der zweite Datensatz war das Cambridge Learner Corpus-First Certificate in English (CLC-FCE), der benotete Essays für Englischlerner bereitstellt.

Diese Datensätze ermöglichten es uns, verschiedene Genres und Arten von Essays abzudecken und gaben einen umfassenden Überblick darüber, wie gut die Modelle menschliches Schreiben im Vergleich zu maschinell generierten Inhalten bewerten.

#LLM-Testumgebung

Um die Vergleiche klarer zu gestalten, generierten wir einen separaten Datensatz mit Aufforderungen aus den ASAP- und CLC-FCE-Datensätzen, diesmal mit GPT. Um Konsistenz zu gewährleisten, erstellten wir mehrere ähnliche Aufforderungen für GPT, um darauf zu antworten, und generierten so eine Vielzahl von Essays. Die von GPT generierten Essays wurden dann mit den menschlich verfassten Essays verglichen, um zu sehen, wie ML-Modelle die Qualität jedes Textes wahrnehmen.

#Machine Learning Modelle zur Bewertung

Unser Ansatz umfasste mehrere Arten von ML-Methoden zur Bewertung von Essays. Wir kategorisierten diese Methoden in drei Haupttypen:

1. Merkmalsbasierte ML: Diese traditionelle Methode verwendet manuelle Merkmale zur Bewertung. Sie basiert auf vordefinierten Eigenschaften wie der Anzahl der Wörter oder der durchschnittlichen Satzlänge zur Bewertung des Textes.

2. Deep Learning CNN/RNN-Methoden: Dieser Ansatz verwendet neuronale Netzwerke, um automatisch Merkmale aus dem Text zu lernen. Dies führt oft zu besseren Bewertungsergebnissen, da es in der Lage ist, komplexe Muster zu erfassen.

3. Transformer-basierte Modelle: Die neuesten und fortschrittlichsten ML-Methoden wie BERT und RoBERTa haben in verschiedenen NLP-Aufgaben, einschliesslich der Essaybewertung, eine Spitzenleistung gezeigt.

Durch den Einsatz dieser verschiedenen Methoden konnten wir die Unterschiede in der Bewertung zwischen menschlichen und GPT-generierten Essays analysieren und die Auswirkungen dieser Bewertungsmethoden auf verschiedene Arten von Inhalten verstehen.

#Statistische Analyse

Um besser zu verstehen, wie verschiedene Arten von Essays bewertet wurden, führten wir statistische Analysen durch, um die Wechselwirkungen zwischen dem Bewertungsmodell, der Art des Essays und ob es menschlich oder maschinell generiert war, zu bewerten. Wir wollten sehen, ob die Modelle Inhalte unterschiedlich bewerteten, basierend auf dem Antworttyp und dem Genre des Essays.

Diese Analyse half uns, spezifische Textgenres zu identifizieren, in denen maschinell generierte Essays möglicherweise höher oder niedriger bewertet wurden im Vergleich zu menschlich generierten Essays. Dabei wurden auch interessante Muster sichtbar, wie verschiedene ML-Modelle Essays basierend auf ihrem Ursprung bewerten.

#Inhaltsanalyse

Ausserdem führten wir Inhaltsanalysen durch, um die Schreibstile von GPT und menschlichen Essays zu vergleichen. Durch diesen Prozess wollten wir verstehen, welche sprachlichen Merkmale zwischen den beiden Schreibarten auffällig sind. Wir untersuchten verschiedene Aspekte wie Wortwahl, Komplexität, emotionale Stimmung und Grammatik, um zu sehen, wo sich GPT- und menschliche Texte am stärksten unterscheiden.

Unser Fokus lag auf zentralen Merkmalen wie Stimmung, Themenrepräsentation und stilistischen Entscheidungen, um besser zu verstehen, wie diese Faktoren die Ergebnisse der ML-Bewertung beeinflussten. Durch den detaillierten Vergleich der Essays gewannen wir Einblicke in die Stärken und Schwächen sowohl menschlicher als auch KI-generierter Inhalte.

#Ergebnisse

Unsere Forschung lieferte mehrere wichtige Ergebnisse.

1. Transformer-Modelle übertreffen andere: Die transformerbasierten Modelle zeigten einen konsistenten Vorteil bei der Bewertung menschlicher Essays im Vergleich zu älteren Methoden und bewiesen ihre Effektivität für automatisierte Bewertungsaufgaben, besonders in Bezug auf die Genauigkeit.

2. GPT-Essays werden höher bewertet als menschliche Texte: Interessanterweise bewerteten transformer Modelle GPT-generierte Texte im Durchschnitt höher, obwohl sie nur mit menschlichem Inhalt trainiert wurden. Dies deutet auf eine einzigartige Wechselwirkung zwischen den Modellen und der Art des Textes hin, den sie bewerten.

3. Merkmalsbasierte Modelle bevorzugen menschliche Texte: Traditionelle merkmalsbasierte Modelle neigten dazu, menschliche Essays höher zu bewerten als die von GPT produzierten, was darauf hindeutet, dass sie möglicherweise die Qualität letzterer nicht genau einschätzen.

4. Genre-spezifische Unterschiede: Die Ergebnisse variierten je nach Essay-Genre, wobei bestimmte Typen von Essays konsequent höher bewertet wurden, ob für menschliche oder maschinell generierte Inhalte. Zum Beispiel zeigte das narrative Schreiben tendenziell weniger Unterschiede zwischen den beiden, während argumentative Essays durchweg besser für Menschen bewertet wurden.

5. Sprachliche Unterschiede sind deutlich: Die Inhaltsanalyse zeigte bemerkenswerte Unterschiede in der Sprachverwendung, emotionalen Ausdrucksweise und syntaktischen Struktur zwischen GPT und menschlichem Text. Dies spiegelte sich in der Ausdruckskraft verschiedener Sprachmerkmale wider, wobei menschlicher Text mehr emotionale Resonanz und persönliche Einblicke zeigte.

#Implikationen für zukünftige Forschung

Die Ergebnisse dieser Studie haben bedeutende Implikationen für zukünftige Forschungen in mehreren Bereichen. Zu verstehen, wie generative KI die automatisierten Bewertungssysteme beeinflussen kann, eröffnet neue Forschungswege in der Bildung, Informationsbeschaffung und Inhaltserstellung.

Zukünftig sollten Forscher untersuchen, wie diese Erkenntnisse das Design zukünftiger Bewertungswerkzeuge informieren können, insbesondere da maschinell generierte Inhalte immer verbreiteter werden. Es besteht auch Bedarf an fortlaufender Forschung über die Wege, wie generative Modelle in Bildungs- und Berufskontexten genutzt oder reguliert werden können.

Da sich das Umfeld weiterhin entwickelt, ist es wichtig, sich bewusst zu sein, wie diese Entwicklungen die Validität und Zuverlässigkeit automatisierter Bewertungsmethoden beeinflussen können. Indem wir uns sowohl auf die Stärken als auch auf die Herausforderungen konzentrieren, die durch generative KI entstehen, können wir auf effektivere und fairere Bewertungssysteme hinarbeiten.

#Fazit

Diese Studie stellt einen bedeutenden Schritt im Verständnis dar, wie Machine Learning Modelle menschliche und KI-generierte Texte bewerten. Da generative KI weiter voranschreitet, ist es unerlässlich, ihre Auswirkungen auf bestehende Bewertungsrahmen und -praktiken zu analysieren.

Mit dem Beweis, dass transformer Modelle ältere Methoden übertreffen und im Durchschnitt GPT-Texte höher bewerten, wird klar, dass die Schnittstelle zwischen menschlich und maschinell generierten Inhalten ein entscheidendes Forschungsfeld bleibt. Diese Erkenntnisse werden nicht nur die Entwicklung zukünftiger Bewertungsstrategien informieren, sondern auch Lehrkräfte und Praktiker unterstützen, während sie sich in diesem sich entwickelnden Umfeld zurechtfinden.

Die Ergebnisse dieser Studie, kombiniert mit dem vorgeschlagenen Analyseframework, bieten eine Grundlage für weitere Erkundungen der Rolle von generativer KI in der automatisierten Bewertung und Beurteilung. Während wir voranschreiten, wird es entscheidend sein, diese Fortschritte zu nutzen und gleichzeitig auf ihre Auswirkungen im Kontext der Textbewertung bedacht zu bleiben.