Anpassung der Sprachbeherrschung in der KI-Inhaltserstellung

Grosse Sprachmodelle (LLMs) sind nützliche Werkzeuge zur Erstellung von Inhalten. Allerdings produzieren sie oft Texte, die für einige Nutzer, wie Sprachlerner und kleine Kinder, zu kompliziert sind. Diese Studie untersucht, wie man das Schwierigkeitsniveau von durch LLMs generierten Texten steuern kann, um sie für diese Nutzer geeigneter zu machen.

#Problembeschreibung

Wenn LLMs Inhalte erstellen, ist der Text normalerweise auf dem Niveau eines Muttersprachlers. Das kann eine Herausforderung für Nutzer sein, die die Sprache noch lernen oder die vielleicht nicht sehr gut darin sind. Daher ist es wichtig, das Sprachniveau des generierten Textes zu kontrollieren.

#Kompetenzkontrollaufgabe (PCT)

Wir definieren die Kompetenzkontrollaufgabe (PCT) als eine Methode zur Bewertung der Fähigkeit eines Modells, das Sprachniveau beim Erstellen von qualitativ hochwertigen Inhalten an spezifische Anweisungen anzupassen. Wir betrachten drei Hauptaspekte:

1. Kontrolle - Wie nah der Text am gewünschten Sprachniveau ist.
2. Qualität - Die Relevanz und Qualität des generierten Inhalts im Verhältnis zur Aufforderung.
3. Kosten - Die benötigten Ressourcen, wie Zeit und Rechenleistung.

#Methoden

#Aufforderungsbasierte Ansätze

Wir haben mit verschiedenen Strategien experimentiert, um LLMs zur Kompetenzkontrolle zu motivieren. Die einfachste Methode ist, das Modell direkt zu bitten, Inhalte auf einem bestimmten CEFR-Niveau zu generieren. Wir haben getestet, wie sich die Hinzufügung von mehr Informationen, wie Beschreibungen von Kompetenzlevels oder Beispielen, auf die Qualität und Kontrolle des Outputs auswirkt.

#Feinabstimmung von Open-Source-Modellen

Um die Leistung von Open-Source-Modellen bei der PCT zu verbessern, haben wir supervised finetuning angewendet. Wir haben einen Datensatz mit erfolgreichen Ausgaben von GPT-4-Aufforderungen erstellt. Diese Daten haben Open-Source-Modelle wie LLaMa2-7b und Mistral-7b trainiert, damit sie besser abschneiden.

#Proximal Policy Optimization (PPO)

Durch die Verwendung von Reinforcement Learning mit Proximal Policy Optimization (PPO) wurde es möglich, die Ausgaben der Modelle an die gewünschten Kompetenzniveaus anzupassen. Diese Methode belohnt das Modell dafür, Texte zu generieren, die näher am Zielniveau sind.

#Sampling-Strategie

Wir haben eine Sampling-Methode eingeführt, die es ermöglicht, die beste Ausgabe aus mehreren generierten Optionen auszuwählen. Dies hilft, das Kompetenzniveau zu erhöhen, obwohl es höhere Kosten verursacht, aber mit besseren Ergebnissen.

#Experimentelles Setup

Wir haben den TinyStories-Datensatz verwendet, der kurze Handlungsstränge enthält. Das LLM ist damit beauftragt, eine Kurzgeschichte basierend auf einer Handlungszusammenfassung und einem angegebenen CEFR-Niveau zu generieren. Wir haben unseren Ansatz mit verschiedenen Metriken bewertet, um die Leistung verschiedener Modelle zu vergleichen.

#Evaluationsmetriken

Für unsere Bewertung haben wir die durchschnittliche Kontrolle, Qualität und die Kosten jeder Kompetenzstrategie gemessen. Ausserdem haben wir eine menschliche Bewertung durchgeführt, um die generierten Geschichten hinsichtlich Fliessfähigkeit und Übereinstimmung mit der ursprünglichen Handlung zu beurteilen.

#Ergebnisse

#Erkenntnisse aus aufforderungsbasierten Ansätzen

1. Qualität zählt: GPT-4 hat bei der Erreichung der CEFR-Kompetenz besser abgeschnitten als Open-Source-Modelle.
2. Mehr Details führen zu besserer Kontrolle: Die Hinzufügung von Beschreibungen oder Beispielen in den Aufforderungen hat die Fähigkeit des Modells zur Kontrolle der Kompetenz verbessert.
3. Hohe Fliessfähigkeit: Alle Modelle haben gut in Fliessfähigkeit und Konsistenz abgeschnitten und gezeigt, dass sie gute Geschichten generieren können.

#Destillation von GPT-4 zu Open Source

Die Leistungsdifferenz zwischen GPT-4 und den Open-Source-Modellen hat uns dazu gebracht, die effektiven GPT-4-Aufforderungen zu nutzen, um letztere durch einen neuen Datensatz namens TinyTolkien zu verbessern.

#Ergebnisse der Proximal Policy Optimization

Die Verwendung von PPO hat die Leistung erheblich verbessert, sodass die Open-Source-Modelle mit der Effektivität von GPT-4 in der Kompetenzkontrolle mithalten konnten.

#Menschliche Bewertung

In einer menschlichen Bewertung wurden sowohl das GPT-4 als auch das CEFR-Ausrichtungsmodell hoch für Konsistenz und Sprachqualität bewertet, was bestätigt, dass unsere Methoden die gewünschten Ergebnisse erzielt haben.

#Fazit

Unsere Studie präsentiert effektive Strategien zur Kontrolle des Kompetenzniveaus von LLM-generierten Inhalten, was für Anwendungen in der Bildung und im Sprachlernen entscheidend ist. Wir haben einen neuen Datensatz und ein neuartiges Modell eingeführt, das qualitativ hochwertige Inhalte für verschiedene Kompetenzniveaus bereitstellt und sicherstellt, dass es für alle Nutzer zugänglich ist.