Automatisierung der Wortschatzbewertung mit KI

Die Bewertung, wie gut Sprachlerner Vokabeln kennen, ist wichtig in der Bildung. Eine gängige Methode sind Multiple-Choice-Lückentexte, bei denen die Schüler das richtige Wort aus einer Auswahl wählen müssen. Lehrer erstellen diese Fragen oft manuell, was ziemlich zeitaufwendig ist. Dieses Papier diskutiert eine neue Möglichkeit, die Erstellung dieser Fragen mithilfe grosser Sprachmodelle zu automatisieren.

#Vokabelbewertung

Vokabeln zu lernen ist der Schlüssel zum Verstehen einer neuen Sprache. Eine beliebte Methode, um das Vokabular zu testen, sind Multiple-Choice-Lückentexte. Diese Fragen präsentieren einen Satz mit einer Lücke und mehreren Wortoptionen, aus denen die Schüler wählen können. Zum Beispiel, wenn der Satz lautet: "Das ist ein ziemlich einfacher Prozess mit ___ Schritten," könnten die Schüler aus Optionen wie "unbegrenzt," "wenigen," "Gerichten," oder "voll" wählen.

Die Qualität sowohl der Sätze als auch der Antwortoptionen ist sehr wichtig. Studien zeigen, dass Sätze klar und relevant zur richtigen Antwort sein müssen. Sie sollten gut strukturiert sein und genug Kontext bieten. Bei den falschen Optionen sollten diese grammatisch in den Satz passen, aber keinen Sinn machen. Traditionell benötigt die Erstellung dieser Fragen viel Zeit, da Lehrer oder Sprachexperten sie von Hand schreiben.

#Bedarf an Automatisierung

Es besteht ein klarer Bedarf an Werkzeugen, die schnell viele Vokabel-Fragen generieren können. Bestehende Programme sind entweder nicht sehr benutzerfreundlich oder nicht leicht verfügbar. Ein weiterer Faktor, der zu beachten ist, ist, dass Schüler in der Regel Vokabeln in kleineren Einheiten lernen, daher ist es wichtig, dass die falschen Optionen aus Wörtern stammen, die sie bereits gelernt haben. Wenn die Optionen unbekannte Wörter beinhalten, kann das die Schüler verwirren und die Effektivität des Tests verringern.

In früheren Projekten wurde ein Tool namens Word Quiz Constructor (WQC) verwendet, um automatisch Multiple-Choice-Lückentexte aus zwei bekannten Wortlisten zu generieren: der General Service List und der Academic Word List. Dieses Programm taggte Wortarten, erstellte Fragesätze und wählte falsche Optionen aus der Liste der gelernten Wörter aus. Obwohl es in einem Universitätscurriculum umgesetzt wurde, bemerkten menschliche Experten immer noch viele Qualitätsprobleme mit den generierten Fragen.

#Fortschritte in der Technologie

Mit dem Aufkommen fortschrittlicher Tools zur Verarbeitung natürlicher Sprache wie dem neuen GPT-Modell gibt es Möglichkeiten, bessere automatisierte Fragen zu erstellen. Diese Modelle können aus riesigen Mengen geschriebenen Textes lernen, was es ihnen ermöglicht, qualitativ hochwertige Sätze und Antworten zu generieren. Dieses Papier zielt darauf ab, ein System zu bewerten, das diese Technologie nutzt, um automatisch Multiple-Choice-Lückentexte zu erstellen.

#Der automatisierte Prozess

Der Prozess zur Generierung von Fragen lässt sich in drei Hauptphasen unterteilen: Vorbereitung der Wortliste, Generierung von Sätzen und Auswahl der besten Antwortoptionen.

#Schritt 1: Vorbereitung der Wortliste

Der Hauptfokus dieser Studie lag auf der Academic Word List (AWL), die weithin im akademischen Englischunterricht verwendet wird. Die AWL ist in zehn kleinere Listen unterteilt, von denen jede eine Gruppe von Wörtern enthält, die die Schüler gemeinsam lernen. Für diese Forschung wurde nur die erste Liste der AWL verwendet.

#Schritt 2: Generierung von Sätzen

Das Programm liest zunächst die vorbereitete Wortliste und wählt zufällig ein Wort aus, das in einem Satz verwendet werden soll. Es sendet dieses Wort an die GPT-API und bittet darum, einen sinnvollen Satz zu erstellen, der das Wort enthält. Sobald GPT einen Satz generiert hat, ersetzt das Programm das Zielwort durch eine Lücke, um eine Frage zu bilden.

#Schritt 3: Auswahl der Antwortoptionen

Als nächstes sucht das Programm nach anderen Wörtern, die die gleiche Wortart wie das Zielwort haben. Es prüft diese Wörter im Leerraum und fragt GPT, ob sie grammatisch und semantisch passen. Wenn ein Wort syntaktisch passt, aber semantisch nicht passt, gilt es als gute falsche Option. Dieser Prozess wird fortgesetzt, bis drei geeignete falsche Optionen für jede Frage gefunden werden.

#Testen des Systems

Um zu bewerten, wie gut dieses automatisierte System funktioniert hat, wurden 60 Fragen erstellt, die sich auf akademisches Vokabular konzentrierten. Experten überprüften die Fragen, um zu sehen, ob die Sätze und Antwortoptionen gut formuliert waren. Sie gaben Feedback zu allen Elementen, die nicht angemessen waren.

#Ergebnisse der Bewertung

Die Ergebnisse zeigten, dass 75% der Sätze gut formuliert waren, während 66,85% der falschen Optionen angemessen waren. Das ist eine signifikante Verbesserung gegenüber dem früheren System, das nur etwa 34,93% und 38,56% für Sätze und Optionen erreichte.

#Menschlicher Prüfungsprozess

Nach der Generierung der Fragen überprüften zwei erfahrene Englischlehrer sie. Sie bewerteten, ob jede Frage das Vokabularwissen der Schüler effektiv testete, und gaben Kommentare zu denen ab, die sie für unangemessen hielten.

#Kriterien für die menschliche Bewertung

Die Prüfer verwendeten spezifische Kriterien, um die Qualität der Fragen zu beurteilen:

1. Angemessenheit des Stems: Der Satz sollte verständlich sein, auch wenn der Schüler das Zielwort nicht kennt. Es sollten keine grammatikalischen Fehler vorhanden sein, und es sollte das Schlüsselwort klar hervorheben.

2. Angemessenheit der Ablenker: Die falschen Optionen sollten grammatisch passen, aber semantisch falsch oder weniger relevant sein.

#Fehleranalyse

Nach der Überprüfung der Fragen identifizierten die Experten verschiedene Probleme bei sowohl den Sätzen als auch den Antwortoptionen. Sie kategorisierten diese Fehler in verschiedene Gruppen, wie mechanische Probleme, Syntaxfehler, Semantik und Probleme mit der Passgenauigkeit des Schlüssels.

#Arten von gefundenen Fehlern

• Mechanische Probleme: Dazu gehörten Probleme wie fehlende Lücken in Sätzen und Ablenker, die nicht passten.

• Syntaxfehler: Einige Sätze enthielten grammatikalische Fehler, während andere nicht die erwartete Struktur hatten. Zum Beispiel gab es einen Fall, in dem die Nomenform nicht zum Kontext passte.

• Semantik: Einige Sätze waren komplex und schwer zu verstehen ohne das Zielwort, was sie weniger effektiv machte.

• Passgenauigkeit des Schlüssels: In einigen Fällen passte das Zielwort nicht gut zum Satz.

#Prozentsätze der Angemessenheit

Nach den Bewertungen stellten die Prüfer fest, dass insgesamt 59 Probleme mit den Ablenkern vorhanden waren, und weitere Analysen ergaben, dass einige Ablenker unter verschiedenen Interpretationen akzeptabel waren, was einen Mangel an Übereinstimmung zeigte.

#Analyse der Protokolldateien

Nachdem die Fragen generiert wurden, wurde eine Analyse der Rohdaten durchgeführt. Dies beinhaltete die Überprüfung sowohl der Ausgaben als auch der Protokolldateien, um weitere Probleme zu identifizieren und Erkenntnisse für zukünftige Verbesserungen zu sammeln.

#Vorläufige Überprüfungen

Bei der vorläufigen Überprüfung wurden einige Probleme entdeckt. Einige Fragen fehlten Lücken, während zwei Ablenker für einen Punkt fehlten. Diese fehlenden Aspekte wurden notiert, und Korrekturen wurden vorgenommen.

#Menschlicher Annotierungsprozess

Um die identifizierten Fehler besser zu verstehen, überprüften zwei Annotatoren die unangemessenen Sätze und Antwortmöglichkeiten, um zu sehen, ob sie die Probleme klassifizieren und Muster finden konnten. Dies half, spezifischere Kategorien für die gemachten Fehler zu etablieren.

#Empfehlungen zur Verbesserung

Obwohl die aktuelle automatisierte Methode erhebliche Fortschritte bei der Generierung von Multiple-Choice-Lückentexten gezeigt hat, gibt es Bereiche, die Verbesserungen für eine bessere Genauigkeit und Benutzerfreundlichkeit erfordern.

#Verbesserung des POS-Taggings

Eines der Hauptprobleme stammte von ungenauem Part-of-Speech-Tagging, was zu vielen Fehlern bei der Auswahl von Schlüssel und Ablenker führte. Ein besserer Validierungsschritt wird empfohlen, um die Genauigkeit dieser Tags sicherzustellen.

#Validierung der Satzstruktur

Fehlende Lücken und falsche Platzierungen waren problematisch. Zukünftige Arbeiten sollten weitergehende Überprüfungen durchführen, um sicherzustellen, dass das Zielwort korrekt im Satz erscheint.

#Verbesserung der Ablenker-Auswahl

Frühere Methoden konzentrierten sich auf einzelne Ablenker, ohne zu berücksichtigen, wie sie innerhalb der vollständigen Sätze passen. Ein besserer Ansatz würde darin bestehen, den gesamten Satz mit den falschen Optionen zu testen, um sicherzustellen, dass sie im Kontext angemessen sind.

#Grössere Stichprobengrösse

Die Studie konzentrierte sich auf eine kleine Stichprobengrösse von 60 Fragen, was die Erfassung möglicher Probleme eingeschränkt haben könnte. Eine grössere Stichprobengrösse würde eine robustere Bewertung der Effektivität des Systems ermöglichen.

#Berücksichtigung des Publikums

Die generierten Fragen waren auf Studierende auf Universitätsniveau zugeschnitten. Zukünftige Anpassungen des Systems sollten jedoch das beabsichtigte Publikum sorgfältiger berücksichtigen, um Fragen zu erzeugen, die für verschiedene Lernniveaus geeignet sind.

#Zukünftige Schritte

Für die Zukunft ist das Ziel, diese Verbesserungen in eine webbasierte Anwendung zu integrieren, in der Lehrer einfach benutzerdefinierte Vokabelfragen generieren können. Das wird es benutzerfreundlich für Lehrer und Lernende machen, ohne dass Programmierkenntnisse erforderlich sind.

#Fazit

Dieses Papier hebt das Potenzial hervor, fortschrittliche KI-Modelle zur Automatisierung von Vokabeltests in der Sprachbildung zu nutzen. Während bedeutende Fortschritte bei der Generierung effektiver Multiple-Choice-Lückentexte gemacht wurden, gibt es noch Möglichkeiten zur Optimierung. Weitere Verfeinerungen und rigoroses Testen werden zu zuverlässigeren und effektiveren Werkzeugen für Pädagogen führen.