Dynosaur: Innovation der Anweisungseinstellung für Sprachmodelle

Das Anpassen von Anweisungen ist wichtig geworden, um zu verbessern, wie grosse Sprachmodelle (LLMs) Anweisungen verstehen und darauf reagieren. Aktuelle Methoden basieren oft entweder auf manueller Annotation oder darauf, bestehende LLMs zur Datenerstellung zu nutzen. Während diese Methoden bemüht sind, hochwertige Datensätze für die Anpassung von Anweisungen zu bieten, stehen sie vor Herausforderungen, wie zum Beispiel der unzureichenden Verknüpfung von Anweisungen mit bereits annotierten Datensätzen.

#Was ist Dynosaur?

Dynosaur ist ein neuer Ansatz, der sich darauf konzentriert, automatisch Daten für die Anpassung von Anweisungen zu erstellen. Durch die Nutzung vorhandener Datensätze und deren Metadaten kann Dynosaur relevante Datenfelder identifizieren und geeignete Anweisungen generieren. Diese Methode hat mehrere Vorteile, darunter niedrigere Kosten für die Generierung von Anweisungen, hochwertige Daten und die Fähigkeit, sich ständig zu verbessern, wenn neue Daten verfügbar werden.

#Vorteile von Dynosaur

#Kostenersparnis

Dynosaur senkt die Kosten, die mit der Erstellung von Daten für die Anpassung von Anweisungen verbunden sind. Zum Beispiel kostet die Generierung von 800.000 Beispielen mit GPT-3.5-turbo etwa 11,5 $, im Vergleich zu rund 500 $ für kleinere Datensätze, die durch andere Methoden erstellt wurden.

#Hohe Qualität

Dynosaur bietet auch hochwertige Daten zur Anpassung von Anweisungen. Wenn Modelle, die mit Dynosaur trainiert wurden, bewertet wurden, schnitten sie bei Aufgaben besser ab als Modelle, die mit teureren Datensätzen trainiert wurden. Zum Beispiel hatten die Modelle T5-3B und LLAMA-7B, die mit Dynosaur feinabgestimmt wurden, signifikante Leistungsverbesserungen im Vergleich zu anderen Modellen, die mit verschiedenen Datensätzen trainiert wurden.

#Kontinuierliche Verbesserung

Da ständig neue annotierte Datensätze veröffentlicht werden, kann sich Dynosaur anpassen, indem es mehr Daten für die Anpassung von Anweisungen generiert. Die Plattform verzeichnet im Durchschnitt täglich 143,6 neue Datensätze, was es Dynosaur ermöglicht, im Laufe der Zeit zu wachsen und die Modellleistung zu steigern.

#Wie Dynosaur funktioniert

#Metadaten sammeln

Der erste Schritt bei der Erstellung von Dynosaur-Daten besteht darin, Metadaten aus bestehenden Datensätzen zu sammeln. Metadaten enthalten wichtige Informationen über jeden Datensatz, einschliesslich seines Namens, einer Beschreibung, Datenfeldern und Annotationen. Diese Metadaten dienen als Grundlage für die Generierung relevanter Aufgaben.

#Generierung von Daten zur Anpassung von Anweisungen

Mit den gesammelten Metadaten generieren LLMs mehrere Aufgaben, die mit jedem Datensatz verbunden sind. Indem sie die Metadaten verstehen, kann das LLM spezifische Anweisungen erstellen und gleichzeitig Eingabe-/Ausgabefelder festlegen. Zum Beispiel könnte aus einem Datensatz mit Buchdetails die Anweisung "Predict the year when the book is published based on the title and authors." generiert werden.

#Ungültige Aufgaben herausfiltern

Die von LLMs generierten Aufgaben werden gefiltert, um ihre Gültigkeit sicherzustellen. Aufgaben, die bestimmten Kriterien nicht entsprechen – wie das Fehlen existierender Datenfelder oder überlappende Eingabe-/Ausgabefelder – werden aus dem endgültigen Datensatz entfernt.

#Daten organisieren

Sobald die gültigen Aufgaben gefiltert sind, werden die Anweisungsdaten in ein Format organisiert, das die Anweisung, Eingabefelder und Ausgabe umfasst. Diese Struktur erleichtert es den Modellen, die Daten während des Trainings effektiv zu nutzen.

#Bewertung von Dynosaur

#Leistung bei Benchmark-Aufgaben

Dynosaur wurde an verschiedenen Benchmark-Aufgaben getestet, um seine Wirksamkeit zu bewerten. Modelle, die mit Dynosaur-Daten trainiert wurden, übertrafen diejenigen, die mit anderen Datensätzen zur Anpassung von Anweisungen trainiert wurden, in verschiedenen Bewertungen. Zum Beispiel zeigten T5-3B und LLAMA-7B, die mit Dynosaur trainiert wurden, bessere Ergebnisse bei den Super-NI- und LongForm-Aufgaben.

#Menschliche Bewertung

Zusätzlich zu automatisierten Bewertungen bewerteten menschliche Prüfer die Qualität der von mit Dynosaur trainierten Modellen erzeugten Ausgaben. Das Feedback zeigte eine Präferenz für die mit Dynosaur-Daten erzeugten Ausgaben im Vergleich zu denen, die mit anderen Datensätzen produziert wurden.

#Kontinuierliches Lernen mit Dynosaur

Die dynamische Natur von Dynosaur ermöglicht es auch, dass Modelle kontinuierlich lernen. Das Konzept des kontinuierlichen Lernens konzentriert sich darauf, Modelle auf neuen Aufgaben zu trainieren, ohne zuvor erlernte Aufgaben zu vergessen. Dies ist besonders wichtig, da immer mehr Daten verfügbar werden.

#Wiederholungsstrategien

Beim kontinuierlichen Lernen kann das Wiederholen früherer Aufgaben den Modellen helfen, die Leistung bei diesen Aufgaben aufrechtzuerhalten, während sie neue lernen. Verschiedene Strategien können verwendet werden, um auszuwählen, welche Aufgaben wiederholt werden sollen. Beispielsweise können Aufgaben basierend darauf ausgewählt werden, wie ähnlich sie neuen Aufgaben sind. Experimente zeigten, dass die Verwendung abwechslungsreicher Anweisungsdarstellungen für die Wiederholung die Leistung verbesserte.

#Einschränkungen angehen

Obwohl Dynosaur einen vielversprechenden Ansatz darstellt, gibt es einige Einschränkungen. Derzeit konzentriert es sich nur auf englische Datensätze, was bedeutet, dass mehrsprachige Datensätze nicht ausreichend untersucht sind. Darüber hinaus, obwohl die Gesamtqualität der Dynosaur-Daten hoch ist, bleiben einige ungültige Einträge. Laufende Arbeiten zielen darauf ab, diese Probleme anzugehen und die Datenqualität weiter zu verbessern.

#Fazit

Dynosaur stellt einen bedeutenden Fortschritt im Bereich der Datenkurierung für die Anpassung von Anweisungen dar. Durch die Nutzung vorhandener Datensätze und deren Metadaten kann es effizient hochwertige Daten zur Anpassung von Anweisungen zu niedrigeren Kosten produzieren. Die Fähigkeit, zu wachsen und sich an neue Daten anzupassen, macht es zu einem wertvollen Werkzeug zur Verbesserung der Leistung von Sprachmodellen beim Verstehen und Befolgen von Anweisungen. Während sich die Landschaft der NLP weiter entwickelt, werden Innovationen wie Dynosaur entscheidend sein, um die Zukunft der Anpassung von Anweisungen zu gestalten.