Verbesserung der Gedächtniseffizienz im Reinforcement Learning mit Menschlichem Feedback

Reinforcement Learning mit menschlichem Feedback (RLHF) hat verändert, wie wir Sprachmodelle trainieren, um besser widerzuspiegeln, was die Leute wollen. Ein wichtiger Teil dieses Prozesses, genannt Proximal Policy Optimization (PPO), braucht ziemlich viel Speicher. Es kann dreimal so viel Speicher erfordern wie traditionelle Methoden. Das macht es vielen Leuten schwer, es effektiv zu nutzen. Um dieses Problem zu beheben, haben wir genau angeschaut, wie viel Speicher diese Methoden nutzen, wie gut sie funktionieren und wie lange sie zum Trainieren brauchen.

Wir haben einen neuen Ansatz namens Hydra-RLHF eingeführt. Dieser Ansatz kombiniert verschiedene Modelle und schaltet bestimmte Teile während des Trainings aus, um Speicher zu sparen. Unsere Tests haben zwei Hauptsachen gezeigt: Erstens, die Verwendung einer Technik namens LoRA während PPO senkt den Speicherbedarf unter traditionelle Methoden und ermöglicht es dem Modell, sich besser an menschliche Präferenzen anzupassen, basierend auf vier verschiedenen Tests. Zweitens reduziert unser Hydra-PPO-Ansatz die Zeit, die für jedes Sample benötigt wird, um bis zu 65 %, ohne Leistung zu verlieren. Das macht es einfacher für mehr Leute, RLHF in ihrer Arbeit zu nutzen.

Seit Modelle wie ChatGPT, GPT-4 und Llama-2 populär geworden sind, haben sie die Nutzer mit ihrer Hilfsbereitschaft bei verschiedenen Aufgaben beeindruckt. Ein wichtiger Aspekt ihres Erfolgs kommt von der Nutzung von RLHF, um diese Modelle an menschliche Erwartungen anzupassen. Das Training grosser Sprachmodelle gibt ihnen viel Wissen, aber sie haben oft Schwierigkeiten, dieses Wissen richtig anzuwenden. Diese Diskrepanz kann zu Fehlern und potenziellen Schäden führen. Um das zu managen, passt Alignment die Modelle an, damit sie sich erwartungsgemäss verhalten. Es ist jetzt ein wichtiger Teil, um sicherzustellen, dass diese Modelle sicher und nützlich sind.

Allerdings, während RLHF dieses Alignment verbessert, bringt es auch Herausforderungen mit sich. Es kann sehr komplex sein und benötigt viel Speicher, um mehrere Modelle gleichzeitig während PPO laufen zu lassen. Da RLHF noch ein neues Forschungsgebiet ist, gibt es einen starken Bedarf, seine verschiedenen Formen hinsichtlich Geschwindigkeit und Effektivität zu bewerten.

Um diesem Bedarf gerecht zu werden, haben wir uns auf die Trainingsschritte und Strukturen des standardmässigen RLHF-PPO konzentriert. Wir haben grosse Chancen gefunden, den Speicher- und Rechenaufwand zu reduzieren, indem wir Modelle zwischen Referenz-, Belohnungs-, Aktor- und Kritiker-Modellen teilen.

Unsere Vergleiche zeigten, wie viel Speicher und Zeit verschiedene Methoden benötigten, wenn sie an einem bestimmten Modell getestet wurden. Wir haben auch einen detaillierten Überblick darüber gegeben, wie viele Modelle in verschiedenen PPO-Methoden benötigt werden, und dabei demonstriert, dass unsere Hydra-PPO-Methode weniger Modelle im Speicher nutzt, was sie effizienter macht.

#Phasen des RLHF-Prozesses

Die RLHF-Methode besteht aus drei Hauptphasen:

1. Überwachtes Feintuning (SFT): In dieser Phase wird ein Sprachmodell auf einem Datensatz trainiert, um Sprachmuster zu lernen. Es gibt zwei Versionen: eine, bei der alle Parameter trainiert werden (Volles Feintuning) und eine andere, bei der eine spezielle Technik (LoRA) verwendet wird, um die Anzahl der Parameter zu reduzieren.

2. Belohnungsmodell (RM): Hier modifizieren wir die Ausgabe des Sprachmodells, wobei der Fokus auf der Vorhersage liegt, was Menschen basierend auf einem Satz von Eingabe- und Antwortpaaren bevorzugen. Nach dem Training stellen wir sicher, dass die Belohnung aus diesem Modell stabil ist, um den PPO-Schritt zu unterstützen.

3. PPO: In dieser letzten Phase trainieren wir sowohl einen Aktor (den kreativen Teil des Modells) als auch einen Kritiker (der die Ausgabe bewertet) mithilfe des zuvor definierten Belohnungsmodells. Während dieses Trainings werden mindestens vier Modelle verwendet, einschliesslich eines eingefrorenen Referenzmodells, um Stabilität zu gewährleisten.

#Einführung von Hydra-RLHF

Wir schlagen Hydra-RLHF vor, das das traditionelle RLHF modifiziert, um im PPO-Phase Speicher zu sparen und gleichzeitig die Leistung aufrechtzuerhalten.

1. Hydra-SFT: Diese neue Trainingsmethode verwendet einen Datensatz, der dem standardmässigen Belohnungsmodelltraining ähnlich ist, und optimiert zwei Aufgaben gleichzeitig. Diese Methode erfordert neue Daten, die gepaarte Vergleiche enthalten, um effektiv trainieren zu können.

2. Dynamisches LoRA: Dieser Ansatz hilft, Speicher zu sparen, indem die LoRA-Gewichte ausgeschaltet werden, wenn sie nicht benötigt werden. Da es zwei identische Modelle (Aktor und Kritiker) gibt, können wir eines vom anderen wiederherstellen, was den Speicherbedarf erheblich senkt und die Leistung beibehält.

3. Hydra-PPO: Durch die Verwendung separater LoRA-Gewichte für den Aktor und Kritiker verringern wir weiter die Notwendigkeit, mehrere Modelle im Speicher während PPO zu haben.

#Ergebnisse und Vergleiche

Wir haben verschiedene Methoden gegeneinander getestet, um ihre Leistung zu bestimmen. Wir haben festgestellt, dass unsere neuen Methoden im Durchschnitt traditionelle Methoden übertreffen. Hydra-PPO zeigte eine bessere Anpassung als LoRA-PPO, wahrscheinlich wegen des verbesserten Belohnungsmodells.

In Bezug auf die Zeit wurde Hydra-PPO schneller, je mehr Text wir hatten. Durch die Erhöhung der Trainingsbatchgrösse konnten wir eine erhebliche Verringerung der benötigten Zeit pro Sample während PPO erreichen.

Wir haben auch andere Datensätze wie StackExchange und Learning to Summarize bewertet und interessante Muster in den Ergebnissen gefunden. Zum Beispiel, während Standardmodelle oft gut abschneiden, zeigten PPO-Methoden eine bessere Rückrufrate, hatten aber manchmal Schwierigkeiten mit der Präzision.

#Herausforderungen mit Joined-Hydra-PPO

Wir haben auch Joined-Hydra-PPO getestet, das einen Satz von LoRA-Gewichten sowohl für den Aktor als auch für den Kritiker verwendet. Diese Methode sparten etwas Speicher, aber ihre Leistung war nicht so gut wie die von Hydra-PPO. Wir glauben, dass dies von der Instabilität herrührt, die entsteht, wenn die beiden Modelle in einem kombiniert werden.

#Zukünftige Richtungen

Unsere Forschung weist auf neue Wege hin, um RLHF zu verbessern. Es besteht ein Bedarf, die verwendeten Datensätze für SFT und RM-Training besser auszubalancieren. Weitere Entwicklungen könnten die Leistung von Methoden wie J-Hydra-PPO verbessern sowie andere Techniken für parameter-effizientes Feintuning in RLHF-Einstellungen effektiver machen.

#Fazit

Durch unsere Studie haben wir gezeigt, dass es möglich ist, die Effizienz von RLHF zu verbessern, indem im PPO-Phase Speicher gespart wird. Unsere Hydra-RLHF-Methode kombiniert Modelle und passt Trainingsstrategien an, um die Verwendung grösserer Batchgrössen zu ermöglichen, was zu schnelleren und zugänglicheren Trainingsprozessen führt. Wir hoffen, dass unsere Ergebnisse die breitere Anwendung von RLHF fördern und weitere Verbesserungen in diesem spannenden Technologiebereich inspirieren.