Sprachmodelle mit Feedback verbessern

Grosse Sprachmodelle (LLMs) sind wie gesprächige Freunde, die manchmal die Regeln eines Spiels vergessen. Sie können Geschichten schreiben, Fragen beantworten und sogar Witze erzählen, aber wenn man sie bittet, bestimmte Regeln zu befolgen, können sie durcheinander kommen. Wenn du sie zum Beispiel bittest, einen Satz mit genau sechs Wörtern zu schreiben, rutschen ihnen vielleicht sieben oder acht rein.

Kürzlich haben Forscher herausgefunden, dass LLMs, wenn sie Feedback zu ihren Fehlern bekommen – so wie wenn dein Freund dir sagt, dass du das Spiel nicht richtig spielst – besser lernen und es beim nächsten Mal anders machen. Dieses Papier spricht über eine neue Methode namens CORGI, die diesen gesprächigen Freunden hilft, sich durch kluges Feedback zu Verbessern.

#Was ist der Plan?

Stell dir vor, du hast ein magisches Notizbuch, das nur Geschichten akzeptiert, die bestimmten Regeln folgen. Wenn deine Geschichte zu lang oder zu kurz ist, gibt das Notizbuch einen Daumen nach unten. Was wäre, wenn wir unseren gesprächigen Freunden beibringen, diese Daumen hoch und Daumen runter Signale zu nutzen, um ihr Geschichtenerzählen zu verbessern? Genau das versuchen wir.

Wir haben einen Rahmen geschaffen, der es diesen Modellen ermöglicht, aus Feedback zu lernen, wenn sie versuchen, etwas zu schreiben. Durch die Simulation von Gesprächen zwischen dem Modell (dem Generator) und einem Feedbackgeber (der Kritik) helfen wir dem Modell herauszufinden, wie es bessere Antworten erstellen kann.

#Wie funktioniert es?

#Die Grundlagen

In unserem Ansatz geben wir dem Modell einige Regeln – wie „schreibe einen Satz mit genau vier Wörtern.“ Dann, nachdem es einen Satz generiert hat, überprüft der Feedbackgeber ihn. Wenn das Modell sich an die Regeln hält, bekommt es eine Belohnung oder einen Daumen hoch. Wenn nicht, erfährt es von seinen Fehlern.

Das Ziel ist, das Modell zu trainieren, auf das Feedback zu achten, das es während dieser Gespräche erhält. Das Modell kann mehrfach mit dem Feedback interagieren, um seine Ausgabe zu verfeinern, was einen grossen Unterschied in seiner Fähigkeit zum Geschichtenerzählen machen kann.

#Die CORGI-Methode

Wir nennen unsere Methode CORGI, was für Controlled Generation with Reinforcement Learning for Guided Interaction steht. Es ist ein schicker Name für eine einfache Idee: spielerische Konversation nutzen, um Modelle besser darin zu machen, die Regeln zu befolgen.

Während des Trainings versucht das Modell, Ausgaben basierend auf Aufforderungen zu generieren, während es nach jedem Versuch Feedback erhält. Wenn es etwas Grossartiges produziert, wird es belohnt. Wenn es danebenliegt, bekommt es Hinweise, was es verbessern kann. Dieses Feedback ist praktisch, weil das Modell lernt, seine Antworten basierend auf dem, was es hört, anzupassen.

#Experimente und Ergebnisse

#Bewertung von CORGI

Wir haben CORGI bei verschiedenen Aufgaben getestet, bei denen das Modell Texte erstellen musste, die bestimmten Regeln folgten. Das Interessante? Das Modell hat nicht nur besser abgeschnitten, als es auf den spezifischen Aufgaben trainiert wurde, sondern schien auch sein Lernen auf neue Aufgaben zu übertragen, die es noch nie zuvor gesehen hatte.

Stell dir vor, du spielst ein Spiel ein paar Mal und wirst dann plötzlich richtig gut in einem ganz anderen Spiel! Das haben wir mit CORGI herausgefunden. Das Modell hat eine Meta-Fähigkeit erlernt – eine Fähigkeit, Fähigkeiten zu lernen –, die ihm besser geholfen hat, sich an neue Probleme anzupassen.

#Feedback macht einen Unterschied

Wir hatten Spass dabei, CORGI mit anderen Modellen zu vergleichen. Die Ergebnisse zeigten, dass Modelle, die mit CORGI trainiert wurden, deutlich besser abschneiden als ihre Gegenstücke, die nicht vom Feedback profitierten. Es ist wie ein Coach, der dir sagt, wenn du etwas falsch machst, anstatt dich einfach allein herausfinden zu lassen!

#Die Aufgaben

Wir haben mehrere verschiedene Aufgaben angepackt, um zu sehen, wie gut CORGI abschneidet. Hier sind ein paar:

#Generierung von Sentimentbewertungen

In dieser Aufgabe musste das Modell Bewertungen für Produkte basierend auf einer Sternebewertung erstellen. Wenn die generierte Bewertung nicht zu den benötigten Sternen passte, sagte die Kritik dem Modell, wo es falsch lag. Das Feedback half dem Modell, im Laufe der Zeit bessere Bewertungen zu produzieren.

#Geschichtenerzählung

Das Modell sollte mithilfe von Vorgaben aus einem Datensatz eine Geschichte kohärent fortsetzen. Das Feedback half ihm, Wiederholungen zu vermeiden oder den Handlungsfaden nicht zu verlieren. Dank der Kritik wurden die Geschichten spannender!

#Gruppierung von Studenten

In einem anderen Szenario wurde das Modell gebeten, die Namen von Studenten basierend auf ihren Vorlieben zu gruppieren. Die Kritik wies darauf hin, wenn Studenten in die falschen Gruppen eingeteilt wurden. Dieses Feedback ermöglichte es dem Modell, besser zu lernen, wie man sie basierend auf ihren angegebenen Vorlieben und Abneigungen gruppiert.

#Panagramm-Aufgabe

In dieser Herausforderung musste das Modell Wörter mit einem bestimmten Buchstabenset erstellen. Wenn es nicht alle Buchstaben einbezog oder es durcheinander brachte, gab die Kritik einen Hinweis. Mit jedem Versuch lernte das Modell, bessere Wörter zu bilden.

#CommonGen Hard

Schliesslich musste das Modell Sätze formulieren, die eine lange Liste von Schlüsselwörtern beinhalteten. Die Kritik half ihm herauszufinden, welche Schlüsselwörter fehlten und wie man sie sinnvoll einbeziehen kann.

#Das Modell trainieren

Wir trainierten die LLMs mit Proximal Policy Optimization (PPO), einer Methode im Reinforcement Learning, die wie ein Turbo für die Lernfähigkeit des Modells aus Feedback ist. So lernt es, wie es bei Aufgaben besser wird, durch Versuch und Irrtum.

#Ergebnisse und Beobachtungen

Als wir die Ergebnisse unserer Experimente anschauten, waren wir begeistert zu sehen, dass CORGI traditionelle Modelle übertraf. Die aus dem Feedback gelernten Lektionen haben sich echt ausgezahlt.

#Multi-Task-Training und Meta-Learning

Der Ansatz des Multi-Task-Trainings zeigte ebenfalls klare Vorteile. Das Modell schnitt bei Aufgaben besser ab, für die es nicht speziell trainiert wurde, weil es gelernt hatte, sich einfach durch das Verständnis des erhaltenen Feedbacks an neue Regeln anzupassen.

#Einschränkungen

Natürlich müssen wir zugeben, dass die CORGI-Methode ihre Grenzen hat. Zum einen kann sie bei längeren Aufgaben Schwierigkeiten haben, da das bereitgestellte Feedback in der Länge begrenzt ist. Es stellt auch sicher, dass das Feedback relevant ist – gute Kritiken sind entscheidend. Wenn es vage oder schlechte Rückmeldungen erhält, könnte das Lernen nicht so effektiv sein.

#Fazit

Zusammenfassend hat die Arbeit mit CORGI die Bedeutung von Feedback beim Training von LLMs hervorgehoben. Indem wir diesen Modellen ermöglichen, in Echtzeit zu lernen und sich basierend auf Kritiken anzupassen, haben wir neue Türen für die Verbesserung ihrer Leistung geöffnet.

#Zukünftige Richtungen

Was kommt als Nächstes? Nun, es gibt viel zu erkunden. Wir könnten darüber nachdenken, menschliches Input in den Trainingsprozess zu integrieren, um zu sehen, wie sich das Verhalten des Modells verändert. Es gibt auch Potenzial, komplexere Aufgaben zu untersuchen, die nicht nur Bewertungen, sondern auch Strategien zur Verbesserung erfordern.

Wenn Modelle wie CORGI sich also weiterentwickeln, werden sie nicht nur besser in spezifischen Aufgaben, sondern könnten insgesamt in dem grossen Spiel, intelligenten Text zu generieren, kompetenter werden.