Verbesserung der Schülerunterstützung mit einem Bildungs-Chatbot

Grosse Sprachmodelle (LLMs) haben in verschiedenen Bereichen vielversprechende Ergebnisse gezeigt, haben aber Schwierigkeiten bei Aufgaben, die mathematisches Denken erfordern, besonders bei Multiple-Choice-Fragen (MCQs). Um diese Herausforderungen zu überwinden, haben wir einen Bildungs-Chatbot entwickelt, der College-Studenten helfen soll, MCQs in Fächern wie Mathematik, Physik und Informatik zu bearbeiten und zu verstehen. Unser Ansatz bestand darin, bestimmte Modelle so anzupassen, dass sie besser zu den menschlichen Vorlieben passen, und sie dann zu testen, um das Modell mit der besten Leistung auszuwählen.

In unserer Studie haben wir zwei Modelle verglichen: Mistral-7B und LLaMa-3-8B. Wir fanden heraus, dass LLaMa-3-8B besser abschnitt, weshalb wir es als unser Basis-Modell gewählt haben. Wir haben Techniken wie Retrieval-Augmented Generation (RAG) implementiert, um die Genauigkeit zu verbessern, und Quantisierung, um das Modell schneller und einfacher zugänglich für die Studenten zu machen. Unser quantisiertes Modell hat bei mathematischen Denkaufgaben annehmbar abgeschnitten, mit 74,5% auf dem GSM8K-Datensatz und 30% auf dem MATH-Datensatz. Obwohl RAG die Leistung unseres Modells nicht verbessert hat, zeigte die Quantisierung nur eine geringe Reduzierung der Leistung und brachte dennoch signifikante Effizienzgewinne.

#Verwandte Arbeiten

Die Forschung auf dem Gebiet der LLMs als Chatbots hat in letzter Zeit zugenommen, besonders mit der Einführung von Modellen wie ChatGPT-3.5 und ChatGPT-4. Diese Modelle wurden umfassend für Bildungszwecke eingesetzt. Allerdings schneiden sie bei mathematischen Denkaufgaben, insbesondere beim Beantworten von MCQs, nicht so gut ab. Frühere Forschungen zeigten, dass LLMs Schwierigkeiten haben, falsche Antworten zu erkennen und oft sprachliche Fähigkeiten vergessen, wenn sie sich auf mathematische Daten konzentrieren. Einfache Aufforderungsstrategien reichen nicht aus, um diese Probleme zu lösen, da es eine grosse Vielfalt an Daten gibt.

Unsere Arbeit baut auf bestehenden Forschungen auf, indem wir das LLaMa-3-8B-Modell und Mistral-7B auf diverse Datensätze in Bezug auf Mathematik und Wissenschaft anpassen. Wir haben auch eine Methode namens Direct Preference Optimization (DPO) integriert, um die Antworten des Modells besser mit den Vorlieben der Studenten abzugleichen. Inspiriert von Methoden, die in Modellen wie InstructGPT zu sehen sind, haben wir spezifische Daten verwendet, um zu verbessern, wie unser Modell Antworten generiert.

Um unser Modell weiter zu verfeinern, haben wir RAG untersucht, eine Methode, die generative Modelle mit einer Datenbank von Dokumenten kombiniert. Anfangs haben wir fortschrittliche RAG-Methoden in Betracht gezogen, uns aber letztendlich für einen einfacheren Ansatz entschieden, der dennoch gute Ergebnisse zeigte.

Zuletzt haben wir Quantisierungstechniken erkundet, um die Rechenlast unseres Chatbots zu reduzieren, was es für die Studenten einfacher macht, ihn zu nutzen, ohne die Leistung zu beeinträchtigen.

#Ansatz zur Problemlösung

Unser Ansatz begann mit dem Training von Mistral-7B und LLaMa-3-8B über Supervised Fine-Tuning (SFT) und anschliessender Vergleich der Leistungen. Nachdem wir LLaMa-3-8B aufgrund seiner überlegenen Ergebnisse ausgewählt hatten, setzten wir unsere Trainingsstrategie fort. LLaMa-3-8B ist ein autoregressives Sprachmodell, was bedeutet, dass es Text generiert, indem es das nächste Wort basierend auf den vorherigen vorhersagt. Es verwendet eine verbesserte Transformer-Architektur und integriert überwachtes Training mit verstärkendem Lernen, um besser mit den menschlichen Vorlieben übereinzustimmen.

Der Trainingsprozess umfasste mehrere Phasen. Zunächst führten wir SFT auf spezialisierten Datensätzen für Mathematik und Wissenschaft durch. Danach haben wir DPO angewendet, um basierend auf den Vorlieben der Studenten eine Feinabstimmung vorzunehmen. Schliesslich bewerteten wir die Leistung des Modells mithilfe des AQuA-RAT-Datensatzes, der STEM-bezogene MCQs enthält.

Während Mistral-7B einen ähnlichen Trainingsprozess durchlief, konzentrierten wir uns auf LLaMa-3-8B aufgrund seiner vielversprechenden Ergebnisse.

#Trainingspipeline

Die Pipeline für das Training von LLaMa-3-8B umfasste drei Hauptphasen: SFT, DPO und MCQ-Spezialisierung. Wir begannen mit SFT auf verschiedenen Mathematik- und Wissenschaftsdatensätzen, gefolgt von DPO-Training, bei dem eine Gruppe von Studenten Feedback zu generierten Antworten gab. Dieses Feedback wurde genutzt, um das Modell so abzugleichen, dass es bevorzugte Antworten produziert.

Um zu überprüfen, wie gut das Modell funktionierte, testeten wir es an mehreren Datensätzen, die komplexe Mathematikfragen, Mathematik-Wortprobleme aus der Grundschule und allgemeine STEM-Fragen beinhalteten.

#Datensatz-Erstellung

Wir haben spezialisierte Datensätze für unser Projekt erstellt, um zu verbessern, wie das Modell lernt. Der SFT-Datensatz, genannt StemQA, umfasst eine Mischung aus Mathematik- und Programmierfragen. Wir haben auch einen DPO-Datensatz, StemDPO, entwickelt, der sich auf die Angleichung der Modellausgaben an die Vorlieben der Schüler konzentriert. Schliesslich haben wir einen Datensatz namens StemMCQ erstellt, um dem Modell zu helfen, sich auf das Beantworten von MCQs zu spezialisieren, die mit STEM-Fächern zu tun haben.

Für den DPO-Datensatz liessen wir Studenten zwei Antworten generieren - eine bessere und eine etwas weniger bevorzugte - um diese vergleichen zu können. Das half uns zu verstehen, welche Arten von Antworten bevorzugt wurden und leitete die Anpassungen unseres Modells.

#Bewertungsprozess

Um die Leistung unseres Modells zu bewerten, verwendeten wir mehrere Schritte, um seine Effektivität bei der Generierung korrekter und gut begründeter Antworten zu bestimmen. Wir wählten spezifische Testdatensätze für Benchmarking aus, die herausfordernde Mathematikfragen und allgemeine Wissensfragen beinhalteten. Unser primäres Bewertungsmass war die Genauigkeit, also wie viele korrekte Antworten das Modell produziert hat.

Wir verglichen die Ergebnisse unserer trainierten Modelle mit den Kandidatenmodellen und notierten Verbesserungen und Bereiche, in denen das Modell noch wachsen kann. Wir nutzten verschiedene GPUs, um unser Training durchzuführen, um sicherzustellen, dass wir die Daten effizient verarbeiten konnten.

#Ergebnisse

Die Ergebnisse unseres Modells waren vielversprechend. Es erreichte eine hohe Punktzahl im GSM8K-Datensatz und machte zufriedenstellende Fortschritte beim Umgang mit dem komplexeren MATH-Datensatz. Obwohl die Leistung bei bestimmten MCQs vielleicht niedriger als gewünscht war, blieb sie in akzeptablen Grenzen angesichts des Schwierigkeitsgrads der Aufgabe.

Mit unserem quantisierten Modell konnten wir die Genauigkeit des ursprünglichen Modells weitgehend beibehalten und es gleichzeitig effizienter machen. Allerdings brachte unsere Implementierung von RAG nicht die gewünschten Verbesserungen, möglicherweise weil der Kontext nicht optimal genutzt oder abgerufen wurde.

#Ethische Überlegungen

Unser Projekt berücksichtigte auch ethische Aspekte in Bezug auf seine Umsetzung. Wir erkennen die Notwendigkeit von Bildungstools, die für alle zugänglich sind, einschliesslich derjenigen, die unterschiedliche Sprachen sprechen oder Gebärdensprachen verwenden. Die Erweiterung der Fähigkeiten unseres Modells, um ressourcenschwache Sprachen zu unterstützen und es für die Gehörgemeinschaft anzupassen, ist ein wichtiger Aspekt für die zukünftige Entwicklung.

Es ist wichtig, Diskussionen über potenzielle Schäden oder Vorurteile zu führen, die aus der Verwendung von Modellen wie unserem entstehen könnten. Wir planen, Richtlinien und Methoden einzubeziehen, um negative Auswirkungen zu verringern und sicherzustellen, dass unser Chatbot ein nützliches Werkzeug für die Studenten bleibt.

#Fazit

Zusammenfassend haben wir einen Bildungs-Chatbot entwickelt, der darauf abzielt, Studenten bei STEM-MCQs zu unterstützen. Das Modell, basierend auf LLaMa-3-8B, wurde optimiert, um effektiv mit spezifischen Datensätzen zu arbeiten, die darauf abzielen, die Leistung im mathematischen Denken zu verbessern.

Unsere Ergebnisse deuten darauf hin, dass wir auf dem richtigen Weg sind, eine wertvolle Bildungsressource bereitzustellen. Zukünftige Bemühungen werden sich auf die Verbesserung der Genauigkeit, die Berücksichtigung eines breiteren Spektrums von Sprachen, einschliesslich Gebärdensprachen, und die Überwachung potenzieller Vorurteile in den Antworten des Modells konzentrieren. Die Arbeit unseres Teams legt das Fundament für einen erweiterten Zugang zu Lernressourcen und verbesserte Bildungsergebnisse für die Studenten.