KI für Bildungsbewertung nutzen

Gute Testfragen zu erstellen ist echt wichtig, um zu messen, wie gut Schüler lernen. Aber das Entwickeln dieser Fragen kostet viel Zeit und Geld, weil man viele Schüler braucht, die sie beantworten. Diese Studie schaut sich an, ob man fortschrittliche KI-Tools, die Large Language Models (LLMs) heissen, nutzen kann, um Antworten zu generieren, die echten Schülerantworten ähnlich sind.

Wir haben sechs verschiedene LLMs getestet: GPT-3.5, GPT-4, Llama 2, Llama 3, Gemini-Pro und Cohere Command R Plus. Beim Vergleich ihrer Antworten mit denen von College-Studenten haben wir festgestellt, dass einige LLMs genauso gut oder sogar besser abschneiden als echte Schüler in Fächern wie College Algebra. Kein einzelnes LLM kann die Antworten von menschlichen Schülern perfekt nachahmen, aber die Kombination ihrer Antworten zeigt eine bessere Übereinstimmung mit den Fähigkeiten echter Schüler.

#Die Herausforderung der Itemkalibrierung

In der Bildungsprüfung ist es gängige Praxis, Antworten von Schülern zu sammeln, um einen Fragenpool zu erstellen. Das ist nötig, um sicherzustellen, dass die Fragen fair sind und das Wissen eines Schülers genau messen. Aber genug Schülerantworten zu bekommen, kann zeitaufwendig und teuer sein.

Zum Beispiel erfordern internationale Umfragen, dass Hunderte von Schülern auf jede Frage antworten. Das kann die Ressourcen belasten und den Prozess des Erstellens und Verbesserns von Bildungsbewertungen verlangsamen.

#Der Aufstieg der KI-Tools

Neue Technologien in der KI, insbesondere LLMs, verändern, wie wir über das Sammeln und Verwenden von Daten nachdenken. Diese LLMs können Antworten generieren, die den Antworten echter Schüler sehr ähnlich sehen. Diese Studie zielt darauf ab herauszufinden, ob diese KI-generierten Antworten verwendet werden können, um bessere Testfragen zu erstellen, ohne stark auf traditionelle Datensammlungsmethoden angewiesen zu sein.

#Wichtige Fragen in unserer Forschung

Wir wollten drei Hauptfragen beantworten:

1. Welches LLM kann am besten die Fähigkeiten menschlicher Schüler in Mathematik nachahmen?
2. Wie vergleichen sich die Eigenschaften der von Menschen beantworteten Fragen mit denen, die von LLMs beantwortet wurden?
3. Können wir menschliche Antworten mit LLM-Antworten kombinieren, um noch bessere Ergebnisse zu erzielen?

Wenn diese Methode funktioniert, könnte es Lehrenden ermöglichen, schnell eine grosse Anzahl von von KI erstellten Fragen für verschiedene Bildungssettings zu bewerten.

#Studiendesign

Wir haben sechs LLMs ausgewählt, wie oben erwähnt, um zu sehen, wie gut sie Fragen zur College Algebra beantworten können. Wir verwendeten einen Satz von 20 Fragen aus einem Open-Source-Lehrbuch und baten jedes Modell, 150 Antworten zu generieren. Unser Ziel war es, zu sehen, wie nah die Antworten an denen von echten College-Studenten in den USA dran waren.

#Verwandte Arbeiten

Im Bereich der Bildungsprüfung ist die Verwendung von simulierten Daten zu einer gängigen Praxis geworden, weil sie Zeit und Geld sparen kann. Viele Forscher nutzen bereits Simulationsmethoden, um Testmodelle zu validieren oder verschiedene Teststrategien zu vergleichen. LLMs wurden kürzlich genutzt, um Trainingsdaten zu generieren, was es Forschern ermöglicht, effektive Bildungstools zu erstellen, ohne umfangreiche reale Daten zu benötigen.

#Datenaugmentation und LLMs

Datenaugmentation ist eine Strategie, um die Menge der für das Training von Modellen verfügbaren Daten zu erhöhen, indem man neue Datenpunkte aus bestehenden erstellt. In unserem Fall bedeutete das, KI zu nutzen, um Lücken zu füllen, wenn die menschlichen Daten begrenzt waren. Die Studie bewertete, wie LLM-generierte Daten den Testprozess verbessern und die Qualität der Bewertungs-Items steigern konnten.

#Die richtigen Fragen auswählen

Wir haben College Algebra als unser Fach gewählt, weil die Fragen leicht verfügbar sind und wir die KI-generierten Antworten mit denen von echten Schülern vergleichen konnten, die zuvor denselben Fragenkatalog beantwortet hatten. Dadurch konnten wir effektiv analysieren, wie nah die LLM-Antworten an den Leistungen von Menschen in Mathematik dran waren.

#Genauigkeit der Antworten analysieren

Um zu bestimmen, wie gut die LLMs abgeschnitten haben, hat einer der Forscher die Antworten, die jedes Modell produziert hat, manuell bewertet. Dadurch konnten wir ein klares Bild von der Genauigkeit der KI-generierten Antworten bekommen.

#Augmentationsstrategie

In der realen Welt kommt es oft vor, dass nur Teil-Daten gesammelt werden. Um damit zu arbeiten, haben wir die Antworten von 50 menschlichen Befragten als repräsentative Stichprobe behandelt und dann nach synthetischen Antworten gesucht, die ihnen nahestanden. Wir haben diese synthetischen Antworten neu beprobt, um die Eigenschaften der menschlichen Antworten beizubehalten.

#Bewertung der Item-Response-Theorie (IRT)

Wir haben eine Methode namens Item-Response-Theorie (IRT) verwendet, die einen detaillierteren Blick darauf gibt, wie Individuen bei Tests abschneiden. Diese Methode ermöglicht es uns, bessere Bewertungen zu erstellen, indem sie die Schwierigkeitsgrade der Fragen mit den Fähigkeiten der Befragten verknüpft. IRT bietet Einblicke, die durch einfachere Methoden wie die Berechnung der Durchschnittswerte nicht verfügbar sind.

#Erste Ergebnisse

Der erste Schritt bestand darin, die Itemparameter basierend auf Daten von echten Schülern zu kalibrieren. Nachdem wir eine Basislinie festgelegt hatten, schauten wir uns dann die Fähigkeitsniveaus der LLMs an, um zu sehen, wie gut sie im Vergleich zu menschlichen Befragten abschneiden. Unsere Analyse zeigte, dass einige LLMs, insbesondere GPT-3.5 und Llama 3, besser abschnitten als der Durchschnittsstudent.

#Verständnis der Variabilität in den Antworten

Ein interessantes Ergebnis war die Bandbreite der Fähigkeiten innerhalb der LLMs. Während echte Schüler eine breitere Vielfalt an Leistungsniveaus zeigten, waren die LLM-Antworten einheitlicher. Das deutet darauf hin, dass die KI bei bestimmten Fragen gut sein könnte, aber die Variabilität fehlt, die bei menschlichen Lernenden zu finden ist.

#Bewertung der Effektivität hybrider Ansätze

Da kein einzelnes LLM in der Lage zu sein schien, menschliche Antworten vollständig nachzuahmen, haben wir untersucht, ob wir menschliche Daten mit LLM-Antworten kombinieren können. Wir haben drei verschiedene Strategien getestet, um zu sehen, wie gut sie funktionieren:

1. Eine Mischung aus menschlichen Antworten und LLM-generierten Antworten verwenden.
2. Nur LLM-generierte Antworten verwenden und dabei die Anteile von menschlichen und KI-Antworten im Hinterkopf behalten.
3. Vollständig auf neu beprobte LLM-Daten zurückgreifen, um Lücken zu füllen.

Unsere Ergebnisse deuteten darauf hin, dass die besten Resultate aus der Kombination menschlicher Antworten mit LLM-Ausgaben kamen. Dieser hybride Ansatz verbesserte die Korrelationen, die wir in der IRT-Analyse sahen.

#Diskussion der Ergebnisse

Diese Studie hob mehrere wichtige Punkte bezüglich der Fähigkeiten von LLMs in der Bildungsbewertung hervor. Auch wenn einige Modelle in spezifischen Bereichen stark abschneiden, konnte keines das volle Spektrum menschlicher Fähigkeiten replizieren. Die Ergebnisse unseres hybriden Ansatzes deuten auf eine vielversprechende Zukunft für die Rolle der KI in der Bildungsprüfung hin.

#Einschränkungen und zukünftige Richtungen

Trotz der ermutigenden Ergebnisse haben wir mehrere Einschränkungen anerkannt. Unsere Studie konzentrierte sich ausschliesslich auf eine College-Algebra-Lektion, was möglicherweise nicht den breiteren Kontext anderer Fächer widerspiegelt. Zudem hatte der verwendete Datensatz bestimmte Einschränkungen, darunter das Fehlen von Bildern oder komplexen Datenpunkten, die nützlich hätten sein können.

In Zukunft wäre es wichtig, diese Forschung auf mehr Fächer und Fragetypen auszudehnen, insbesondere auf solche, die visuelle Elemente beinhalten. Darüber hinaus könnten bessere Methoden entwickelt werden, um zu verbessern, wie LLMs Antworten generieren, einschliesslich der Erprobung verschiedener Prompting-Strategien oder der Feinabstimmung der KI-Modelle.

#Fazit

Der Einsatz von fortschrittlicher KI wie LLMs in Bildungsbewertungen birgt viel Potenzial. Während sie derzeit menschliche Antworten nicht vollständig ersetzen können, können sie den Testprozess erheblich unterstützen. Durch die Kombination von KI-generierten Daten mit menschlichen Antworten könnte es möglich sein, eine effizientere und effektivere Methode zur Bewertung von Testfragen zu schaffen. Dieser Ansatz könnte letztendlich Zeit und Ressourcen für Lehrende sparen und sicherstellen, dass Schüler fair und genau bewertet werden.

Während sich der Bildungsbereich mit der Technologie weiterentwickelt, wird es wichtig sein, diese Methoden weiter zu erkunden, um die Vorteile der KI in Bildungseinrichtungen zu maximieren.