KI nutzen, um Kursdiskussionen zu optimieren

In der Uni nutzen Studis oft Diskussionsforen, um Fragen zu ihren Kursen zu stellen. Leider verbringen Profis und Tutor*innen oft viel Zeit damit, diese Fragen zu beantworten, besonders wenn viele Studis in einer Klasse sind. Mit den neuesten Entwicklungen in der Technik können wir grosse Sprachmodelle (LLMs) nutzen, um diese Fragen zu beantworten.

Diese Studie untersucht ein neues System, das hilft, Fragen in einem Kursdiskussionsforum zu Klassifizieren und zu beantworten, indem die Fragen in einfachere Teile zerlegt werden. Das System verwendet ein LLM, speziell eine Version von GPT-3, um Fragen in vier Haupttypen zu kategorisieren: Konzeptionell, Hausaufgaben, Logistik und nicht beantwortbar. Jeder Fragetyp hat seine eigene Art der Beantwortung, was das System effizienter macht.

#Bedeutung der Fragetypen

Zu verstehen, welcher Fragetyp vorliegt, ist wichtig, um die richtige Antwort zu geben. Hier ein schneller Überblick über die vier Typen:

1. Konzeptionelle Fragen: Diese Fragen können ohne spezielle Kursdetails beantwortet werden. Zum Beispiel: "Wie wählen wir die Lernrate?"

2. Hausaufgabenfragen: Diese benötigen spezifische Informationen aus den Hausaufgabenanweisungen zur Beantwortung. Ein Beispiel könnte sein: "Worauf bezieht sich z in Labor 1?"

3. Logistikfragen: Diese Fragen benötigen Details aus dem Kursverzeichnis, wie: "In welchem Raum ist die Zwischenprüfung?"

4. Nicht beantwortbare Fragen: Diese Fragen benötigen Hilfe von einem Dozenten, wie: "Der Dozent ist nicht hier. Wurden die Sprechstunden abgesagt?"

#Wie das System funktioniert

Das vorgeschlagene System verwendet einen zweistufigen Prozess:

1. Frage klassifizieren: Der erste Schritt besteht darin, herauszufinden, zu welchem Typ die Frage gehört. Das LLM verarbeitet die Frage und ordnet sie einer der vier Kategorien zu.

2. Frage beantworten: Sobald die Frage klassifiziert ist, versucht das System, sie zu beantworten oder entscheidet sich, nicht zu antworten. Für beantwortbare Fragen werden je nach Fragetyp verschiedene Strategien genutzt. Zum Beispiel brauchen konzeptionelle Fragen keine speziellen Kursdetails in der Antwort, während Hausaufgabenfragen relevante Anweisungen aus den Aufgaben benötigen.

#Warum das wichtig ist

Diese Methode kann helfen, die Arbeitslast für Lehrende zu reduzieren und gleichzeitig zeitnahe und genaue Antworten für Studis zu liefern. Wenn das LLM Fragen erfolgreich klassifizieren und beantworten kann, kann es Lehrenden viel Zeit sparen. Es gibt aber auch ein Risiko. Wenn das System eine falsche Antwort gibt, könnte das die Studis verwirren oder die Arbeitslast der Lehrenden erhöhen.

#Ergebnisse der Studie

Die Forscher haben ihr Klassifizierungssystem mit 72 Fragen aus einem vorherigen Semesters eines fortgeschrittenen Kurses für maschinelles Lernen getestet. Drei Mitarbeitende des Kurses haben zusammengearbeitet, um diese Fragen in die vier Typen zu kategorisieren. Bei Meinungsverschiedenheiten haben sie die Mehrheitsmeinung als korrekte Klassifizierung betrachtet. Von den 72 Fragen fanden sie:

• 13 Fragen waren konzeptionell
• 34 waren Hausaufgaben
• 8 waren Logistik
• 14 waren nicht beantwortbar

Das Modell, das sie zur Klassifizierung verwendeten, war eine spezifische Version von GPT-3, bekannt als text-davinci-003. Nach dem Testen fanden sie heraus, dass ihr System eine Genauigkeitsrate von 81% bei der Klassifizierung der Fragen erreichte.

#Evaluierung des Systems

Die Forscher schauten sich verschiedene Faktoren an, um zu sehen, wie sie die Leistung des Systems beeinflussten:

#Aufgabenbeschreibung

Sie begannen mit einer klaren Beschreibung, wie man Fragen klassifiziert. Als sie diese Beschreibung einfügten, funktionierte das System gut mit einer Genauigkeit von 81%. Als sie sie entfernten, fiel die Genauigkeit auf 74%, und die Verwendung nur eines Teils der Beschreibung führte zu einer noch niedrigeren Genauigkeit von 72%.

#Anzahl der Beispiele

Um dem System beim Lernen zu helfen, gaben sie Beispiele von Fragen zusammen mit ihren Klassifikationen. Nach Tests mit verschiedenen Zahlen von Beispielen fanden sie heraus, dass die Verwendung von 31 Beispielen die beste Genauigkeit brachte.

#Änderung der Frageetiketten

Die Leistung des Klassifizierungssystems änderte sich auch je nachdem, wie die Fragetypen etikettiert waren. Wenn sie die Typen in generische Beschriftungen wie "a, b, c, d" umbenannten, fiel die Genauigkeit auf 70%.

#Beantwortung konzeptioneller Fragen

Anschliessend konzentrierten sich die Forscher auf die Fähigkeit des Systems, konzeptionelle Fragen zu beantworten. Sie verwendeten 63 zusätzliche Fragen aus dem nächsten Angebot des Kurses. Insgesamt arbeiteten sie mit 132 Fragen. Die Ergebnisse zeigten, dass das LLM bei konzeptionellen Fragen am besten abschnitt, was zu erwarten war, da diese Arten von Fragen keine spezifischen Kursinformationen erfordern.

Um die Qualität der vom LLM gegebenen Antworten zu überprüfen, betrachteten sie mehrere Metriken, die die maschinengenerierten Antworten mit denen der Kursdozenten verglichen.

#Menschliche Bewertung

Dozenten überprüften die Antworten auf 28 konzeptionelle Fragen des Modells und kennzeichneten sie als "gut" oder "schlecht". Die Ergebnisse zeigten, dass nur etwa 29% der Antworten als gut angesehen wurden. Häufige Probleme bei den schlechten Antworten umfassten:

• Falsche Klassifizierung: Einige Fragen, die als Hausaufgaben klassifiziert werden sollten, wurden fälschlicherweise als konzeptionell identifiziert.
• Faktische Fehler: Antworten, die einfach falsch oder irreführend waren.
• Unangemessenheit: Antworten, die technisch korrekt, aber nicht geeignet für das Wissensniveau der Studis waren.
• Weitere Probleme waren Missverständnisse der Frage, Unzusammenhängendes und irrelevante Informationen.

#Fazit

Diese Studie zeigt, dass die Verwendung von zerlegter Eingabe eine gute Strategie zum Klassifizieren und Beantworten von Student*innenfragen in Diskussionsforen ist. Das System konnte Fragen mit einer Genauigkeit von 81% klassifizieren, hatte aber Schwierigkeiten, korrekte Antworten auf konzeptionelle Fragen zu geben.

Viele falsche Antworten kamen dadurch zustande, dass das System nicht mit den Erwartungen der Kursdozenten übereinstimmte. In Zukunft schlagen die Forscher vor, das Modell speziell mit Fragen aus Diskussionsforen zu verfeinern.

Ein vielversprechendes Gebiet für weitere Erkundungen ist die Kombination von LLMs mit anderen Techniken, um die Beantwortung von Hausaufgaben- und Logistikfragen zu verbessern. Das könnte potenziell zu besserer Unterstützung für Studis führen, die Hilfe in ihren Kursen suchen.