Kann KI Peer-Feedback in MOOCs ersetzen?

Massive Open Online Courses (MOOCs) haben Bildung kostenlos und für jeden mit Internetzugang zugänglich gemacht. Mit der riesigen Anzahl von Schülern, die sich für diese Kurse anmelden, kann die Bewertung ihrer schriftlichen Arbeiten eine Herausforderung darstellen. Um dabei zu helfen, nutzen einige Kurse Peer-Grading, bei dem die Schüler die Arbeiten ihrer Mitschüler anhand einfacher Richtlinien bewerten. Während diese Methode die Beteiligung fördert, mangelt es oft an Zuverlässigkeit. Dieser Artikel untersucht, wie grosse Sprachmodelle (LLMs) das Peer-Grading in MOOCs möglicherweise ersetzen könnten.

#Das Problem mit der Bewertung in MOOCs

MOOCs ermöglichen es jedem, von den besten Universitäten zu lernen, ohne Studiengebühren zu zahlen. Aber mit Tausenden von Schülern wird es für einen Lehrer schwierig, jede Aufgabe zu lesen und zu bewerten. Peer-Grading hilft, diese Arbeitsbelastung zu verteilen, aber die Schüler geben möglicherweise nicht immer genaue oder faire Noten. Diese Inkonsistenz wirft Fragen zur Qualität des Feedbacks auf, das die Schüler erhalten, was ihre Lernerfahrung beeinträchtigen kann.

#Das Versprechen grosser Sprachmodelle

Mit den jüngsten Fortschritten in der künstlichen Intelligenz und der Verarbeitung natürlicher Sprache haben grosse Sprachmodelle wie GPT-4 und GPT-3.5 grosses Potenzial in verschiedenen Anwendungen, einschliesslich der Bewertung. Durch den Einsatz dieser Modelle könnte es möglich sein, den Schülern in MOOCs zuverlässigeres und effizienteres Feedback zu geben.

#Methodik

In dieser Studie haben wir untersucht, wie LLMs zur Bewertung von Aufgaben in drei Fächern eingesetzt werden könnten: Einführung in die Astronomie, Astrobiologie und die Geschichte und Philosophie der Astronomie. Wir haben verschiedene Aufforderungsstrategien mit den LLMs getestet, um zu sehen, welcher Ansatz die besten Ergebnisse lieferte. Die drei Aufforderungsmethoden umfassten:

1. Bereitstellung korrekter Antworten vom Dozenten.
2. Hinzufügen von Bewertungskriterien, die vom Dozenten erstellt wurden, zusammen mit den richtigen Antworten.
3. Generierung neuer Kriterien mithilfe des LLM basierend auf den korrekten Antworten des Dozenten.

#Ergebnisse der Studie

Wir haben Tests in 18 verschiedenen Szenarien durchgeführt, um die Leistung der LLMs bei der Bewertung zu bewerten. Die Ergebnisse deuteten darauf hin, dass die Modelle, wenn sie die vom Dozenten bereitgestellten Antworten und Bewertungskriterien erhielten, Noten produzierten, die näher an den Noten der Dozenten lagen als beim Peer-Grading.

#Leistung der Modelle

Im Allgemeinen übertraf GPT-4 GPT-3.5. Bei der Bewertung von Aufgaben, die weniger kreatives Denken erforderten, stimmten die Noten von GPT-4 eng mit denen der Dozenten überein. Die Geschichte und Philosophie der Astronomie stellte jedoch für beide Modelle grössere Herausforderungen dar, da sie spekulatives Denken verlangte. Trotzdem schnitt GPT-4 in diesen Fällen besser ab als das Peer-Grading.

#Die Vorteile der Automatisierung von Bewertungen

Die Verwendung von LLMs zur Bewertung bietet mehrere Vorteile:

1. Konsistenz: LLMs können Bewertungen liefern, die konsistenter sind als Peer-Beurteilungen.
2. Effizienz: Die Automatisierung des Bewertungsprozesses spart Zeit für die Dozenten, sodass sie sich auf das Lehren und die Unterstützung der Schüler konzentrieren können.
3. Detailliertes Feedback: LLMs können klares und konstruktives Feedback basierend auf spezifischen Kriterien generieren, was den Schülern hilft, ihre Fehler besser zu verstehen.

#Herausforderungen bei der Bewertung mit LLMs

Trotz der Vorteile gibt es einige Herausforderungen bei der Verwendung von LLMs zur Bewertung. Der Kurs Geschichte und Philosophie der Astronomie bleibt sowohl für LLMs als auch für Peer-Grading schwierig, da er oft imaginative Antworten erfordert. Die Modelle haben weiterhin Schwierigkeiten mit Aufgaben, die tiefes Denken und kreatives Argumentieren erfordern.

#Erkenntnisse zu verschiedenen Kursaufgaben

In den drei untersuchten Kursfächern variierten die Bewertungsherausforderungen:

• Einführung in die Astronomie: LLMs fanden es einfacher, faktische Antworten zu bewerten. Die Bewertungsergebnisse lagen nahe an den Bewertungen der Dozenten.

• Astrobiologie: Während das Modell insgesamt höhere Punktzahlen erzielte, war die Varianz zwischen den Noten bemerkenswert. Es gab Fälle von Unstimmigkeiten mit den Dozenten, insbesondere bei kürzeren oder übermässig langen Antworten.

• Geschichte und Philosophie der Astronomie: Die Aufgaben dieses Kurses stellten einzigartige Schwierigkeiten dar, da sie von den Schülern verlangten, ihre Gedanken klar auszudrücken und mit Argumenten zu untermauern. Sowohl LLMs als auch Peer-Bewertungen fanden es herausfordernd, Noten zu produzieren, die mit denen der Dozenten übereinstimmten.

#Verwandte Arbeiten

Frühere Forschungen haben sich mit Peer-Grading innerhalb von MOOCs befasst. Diese Studien haben festgestellt, dass Peer-Review zwar die Beteiligung verbessern kann, Inkonsistenzen und Vorurteile bei der Bewertung jedoch weiterhin ein Anliegen bleiben. Während LLMs im Bildungsbereich untersucht wurden, haben nur wenige Studien ihre Verwendung zur Ablösung von Peer-Grading direkt analysiert.

#Wie sich diese Studie abhebt

Diese Studie ist einzigartig, da sie die Möglichkeit untersucht, Peer-Grading in MOOCs vollständig durch LLMs zu ersetzen. Indem wir uns auf die Genauigkeit von Bewertungen und Feedback konzentrieren, wollen wir die Notwendigkeit menschlicher Beteiligung im Bewertungsprozess reduzieren und gleichzeitig die Bildungserfahrung verbessern.

#Die Zero-Shot Chain-of-Thought-Technik

Um die LLMs zu lenken, verwendeten wir eine Technik namens Zero-Shot Chain-of-Thought (ZCoT). Diese Methode fordert das Modell auf, Schritt für Schritt zu argumentieren, was hilft, seinen Denkprozess zu klären. Es gab zwei Hauptgründe für die Wahl von ZCoT:

1. Bessere Übereinstimmung: Wir fanden bei ersten Tests heraus, dass ZCoT Ergebnisse lieferte, die mehr mit den Noten der Dozenten übereinstimmten als standardisierte Aufforderungsmethoden.
2. Transparenz: Indem wir das LLM aufforderten, sein Denken zu erklären, konnten wir besser auf Korrektheit und Fairness in der Bewertung prüfen.

#Erklärung der Aufforderungsstrategien

Wir entwickelten drei wichtige Aufforderungen, die ZCoT mit verschiedenen zusätzlichen Informationen kombinieren:

1. ZCoT mit richtigen Antworten: Diese einfache Version bietet nur die richtigen Antworten des Dozenten, die das Modell während der Bewertung verwenden kann.

2. ZCoT mit Kriterien: Diese Version enthält sowohl die richtigen Antworten als auch die Bewertungsrichtlinien des Dozenten, was einen verfeinerten Bewertungsprozess ermöglicht.

3. ZCoT mit von LLM generierten Kriterien: In diesem Ansatz erstellt das LLM seine eigenen Bewertungskriterien basierend auf den richtigen Antworten, um sein breites Wissen für potenziell verbesserte Bewertungskriterien zu nutzen.

#Bewertungsprozess

Die Effektivität von LLMs bei der Bewertung wurde bewertet, indem ihre Noten mit denen der Dozenten für jede Frage verglichen wurden. Wir nutzten auch eine Technik namens Bootstrap-Resampling, um zu bewerten, wie eng die von LLM vergebenen Noten mit den Noten der Dozenten übereinstimmten.

#Erkenntnisse aus der Bewertung

1. Fehlen signifikanter Unterschiede: In nahezu allen Fällen gab es keine signifikanten Unterschiede zwischen den von LLMs vergebenen Noten und denen der Dozenten.

2. Leistung von GPT-4: Dieses Modell erzeugte durchgängig Noten, die näher an den Noten der Dozenten lagen als GPT-3.5, insbesondere in den Kursen Astronomie und Astrobiologie.

3. Von LLM generierte vs. vom Dozenten bereitgestellte Kriterien: Von LLMs erstellte Kriterien führten zu Noten, die denen der Dozenten ähnlich waren, was auf das Potenzial von LLMs hinweist, eigenständig effektive Bewertungskriterien zu entwickeln.

#Fazit

Die Studie zeigt, dass LLMs wie GPT-4 Peer-Grading in MOOCs ersetzen können, insbesondere in Kursen mit klaren Bewertungsrichtlinien. Obwohl es Herausforderungen bei der Bewertung von Aufgaben gibt, die Kreativität erfordern, übertreffen LLMs im Allgemeinen das Peer-Grading und können schnelleres, konsistenteres Feedback geben.

#Zukünftige Richtungen

Die Studie legt nahe, dass weitere Forschungen erforderlich sind, um Bewertungsmethoden zu verfeinern, insbesondere für Fächer, die tiefere Denkfähigkeiten erfordern, wie Philosophie und fortgeschrittene Mathematik. Die Verbesserung der Übereinstimmung zwischen LLM-zugewiesenen Noten und den Bewertungen der Dozenten wird entscheidend für eine breitere Akzeptanz in Bildungseinrichtungen sein.

#Aufschlüsselung der Aufgabenfragen

Um besser zu verstehen, wie Aufgaben in den Kursen strukturiert sind, listen wir die den Schülern gestellten Fragen auf:

#Kurs: Einführung in die Astronomie

1. Wie unterscheidet sich Astronomie von Laborwissenschaften wie Chemie oder Biologie hinsichtlich der wissenschaftlichen Methode?
2. Wie können Astronomen sich bezüglich entfernter Objekte sicher sein?
3. Diskutieren Sie antike Strukturen im Zusammenhang mit Astronomie und argumentieren Sie gegen "alte Astronauten"-Theorien.
4. Was sind die Vorteile grosser Teleskope? Nennen Sie mindestens ein Beispiel.
5. Warum sind Weltraumteleskope wichtig, trotz ihrer hohen Kosten?
6. Welche Wellenlängenbereiche jenseits des sichtbaren Lichts helfen Astronomen, mehr über das Universum zu erfahren?
7. Beschreiben Sie die beiden Hauptmethoden zur Auffindung von Exoplaneten.
8. Warum ist es schwierig, Exoplaneten direkt zu sehen?
9. Welche Ähnlichkeiten oder Unterschiede gibt es zwischen unserem Sonnensystem und fernen Planetensystemen?
10. Was verursacht das Licht der Sonne und wie entstehen Elemente in Sternen?
11. Beschreiben Sie, wie eine grosse Gaswolke sich zu einem Stern und Planeten formt.
12. Was sind die Endzustände massereicher Sterne und ihre Eigenschaften?
13. Diskutieren Sie, warum grosse Teleskope mit Zeitmaschinen verglichen werden.
14. Welche Beweise unterstützen die Theorie, dass das Universum vor 13,8 Milliarden Jahren begann?
15. Nennen Sie die beiden dominierenden Zutaten des Universums und die Unsicherheiten, die damit verbunden sind.

#Kurs: Astrobiologie

1. Identifizieren Sie Methoden zur Detektion von Exoplaneten und erklären Sie, wie sie funktionieren.
2. Diskutieren Sie die Beziehung zwischen habitablen Zonen und Spektraltypen.
3. Bewerten Sie eine Aussage über erdähnliche Planeten basierend auf Beweisen.
4. Bewerten Sie die Schlussfolgerung eines anderen Schülers über die Habitabilität von Exoplaneten.
5. Argumentieren Sie für die Plausibilität der Exobiologie basierend auf Faktoren wie Typ und Entfernung von Exoplaneten.
6. Identifizieren Sie ein geologisches Eon und diskutieren Sie seine Auswirkungen auf den Stand der Exobiologie.

#Kurs: Geschichte und Philosophie der Astronomie

1. Diskutieren Sie die Bedeutung der Astronomie für nomadische Menschen im Jahr 20.000 v. Chr.
2. Erklären Sie die philosophischen Implikationen eines Universums mit einem definitiven Anfang und unendlicher Zukunft.
3. Diskutieren Sie die Verbindung zwischen Freiheit, persönlichen Rechten und der Verfolgung von Wissenschaft in der Philosophie der Aufklärung.
4. Erkunden Sie die Implikationen eines stabilen Modells, in dem das Universum ewig und unveränderlich ist.

#Abschliessende Gedanken

Die Ergebnisse dieser Studie zeigen ein starkes Potenzial für die Integration von LLMs in die Bewertungssysteme von MOOCs. Indem wir die Abhängigkeit vom Peer-Grading reduzieren, können wir eine effektivere und unterstützendere Lernumgebung für Online-Schüler schaffen. Mit fortgesetzter Forschung und Verfeinerung könnten LLMs die Bildungserfahrung weltweit erheblich verbessern.