Nutzung von natürlichem Feedback für das Training von Modellen

Menschliches Feedback ist wichtig für den Bau von Sprachmodellen. Aber dieses Feedback zu bekommen, kann teuer und schwer skalierbar sein. Wir zeigen einen Weg, wie man einfach Feedback sammeln kann, das Nutzer beim Reden mit Chat-Modellen geben, und nutzen es fürs Training. Frühere Studien zeigen, dass echtes Feedback oft besser ist als automatisches Feedback, weil es zu weniger Fehlern und Verzerrungen führt.

In unserer Forschung haben wir Konversationsdaten untersucht, um zu sehen, wie viel natürliches Feedback enthalten ist. Wir fanden heraus, dass fast 30 % der Chats klares Feedback haben. Mit unserer Methode, die wir bei über einer Million Gespräche angewendet haben, haben wir Hunderttausende von Feedback-Beispielen gesammelt. Unser Modell mit diesem Feedback zu trainieren, hat zu grossen Verbesserungen im Vergleich zu Standardmodellen geführt.

#Bedeutung von menschlichem Feedback

Menschliches Feedback ist ein Schlüsselteil des Modelltrainings. Der übliche Trainingsprozess hat zwei Hauptschritte: zuerst eine Vortrainingsphase und dann eine Ausrichtungsphase, in der das Modell mit Feedbackdaten feinjustiert wird. Mehr Feedback bedeutet normalerweise bessere Modelle. Doch das Sammeln dieser Daten erfordert oft viel menschlichen Aufwand, was es schwierig macht, sie in grossem Massstab zu sammeln.

Menschen geben während Gesprächen natürlich Feedback. Sie zeigen oft Zufriedenheit oder Unzufriedenheit einfach durch ihre Antworten. Wir möchten dieses natürliche Feedback in unseren Modellen nutzen.

#Arten von natürlichem Feedback

Natürliches Feedback kann verschiedene Formen annehmen. Wenn ein Nutzer mit einer Antwort zufrieden ist, könnte er die nächste Frage stellen, ohne explizites Feedback zu geben. In unserer Arbeit konzentrieren wir uns auf klares und direktes Feedback, wie zum Beispiel, wenn Nutzer „Danke“ sagen oder einen Fehler mit Sätzen wie „das ist falsch“ anmerken.

Mit Tools wie ChatGPT, die populär geworden sind, gibt es jetzt eine Menge Daten von Nutzerinteraktionen mit diesen Modellen. Natürliches Feedback, basierend auf tatsächlichen Nutzerantworten, ist tendenziell zuverlässiger und einfacher zu verifizieren als das Feedback, das vom Modell selbst generiert wird.

#Häufigkeit von natürlichem Feedback

Um zu sehen, wie häufig natürliches Feedback ist, haben wir einige Konversationsdaten annotiert. Wir fanden heraus, dass neuere Gespräche mehr Feedback enthalten als ältere. Das könnte daran liegen, dass Nutzer heutzutage höhere Erwartungen haben und geschickter im Gespräch mit Modellen sind.

Wir haben eine Methode entwickelt, um dieses Feedback automatisch aus den Interaktionen zwischen Mensch und Modell zu extrahieren. Unsere Methode zeigt gute Ergebnisse bei der genauen Identifizierung von Feedback. Wir haben unsere Methode auf eine Million Gespräche angewendet und ein Dataset mit natürlichem Feedback erstellt.

#Feedback-Taxonomie

Wir kategorisieren natürliches Feedback in fünf Typen:

1. Wiederholen oder Umformulieren: Der Nutzer stellt seine Frage oder Anfrage zur Klarheit erneut.
2. Bewusstmachen mit Korrektur: Der Nutzer weist auf einen Fehler hin und erklärt die korrekten Informationen.
3. Bewusstmachen ohne Korrektur: Der Nutzer zeigt einen Fehler an, ohne eine Korrektur zu geben.
4. Nach Klarstellung fragen: Der Nutzer sucht nach mehr Informationen zur vorherigen Antwort.
5. Positives Feedback: Der Nutzer erkennt an, dass das Modell gut war, oft indem er „Danke“ sagt.

Diese Kategorien helfen uns zu analysieren, wie Feedback gegeben wird und können das Training von Modellen verbessern.

#Manuelle Annotation von Feedback

Um die Verteilung der Feedbacktypen zu verstehen, haben wir eine Reihe von Gesprächen manuell annotiert. Nach dem Herausfiltern von irrelevanten oder beleidigenden Inhalten fanden wir eine signifikante Anzahl an Gesprächen, die Feedback enthielten.

Wir haben eine Qualitätsprüfung mit einem zweiten Annotator durchgeführt, um zu sehen, wie gut unsere ursprünglichen Annotationen übereinstimmten. Das bestätigte, dass unsere Methode zur Identifizierung von Feedback zuverlässig ist.

#Wachstum von Feedback über die Zeit

Wir haben ältere Modelle mit aktuellen verglichen und festgestellt, dass neuere Modelle mehr Feedback erhalten. Das deutet darauf hin, dass sich mit der Entwicklung der Modelle auch die Nutzerinteraktionen weiterentwickeln, was zu reicherem Feedback führt. Mehr Nutzer erwarten, dass ihre Gespräche mit Modellen menschlicher wirken.

#Automatische Extraktion von Feedback

Wir haben eine Methode entworfen, um Feedback automatisch aus Gesprächen zu bekommen. Wir haben ein Sprachmodell angewiesen, Teile von Nutzerantworten zu finden, die Feedback enthalten, und diese entsprechend zu kennzeichnen. Wir haben dies auf einem grossen Datensatz implementiert, was es uns ermöglichte, eine umfangreiche Sammlung von Feedback-Beispielen zu generieren.

#Ergebnisse der Feedback-Extraktion

Unsere Methode konnte eine grosse Anzahl von Feedbackinstanzen genau identifizieren und klassifizieren. Die Analyse zeigte, dass die häufigsten Feedbacktypen „Nach Klarstellung fragen“ und „Wiederholen oder Umformulieren“ waren.

Obwohl unsere Methode manchmal nicht-Feedback-Antworten fälschlicherweise als Feedback identifizierte, lieferten viele dieser Instanzen trotzdem wertvolle Signale, die fürs Training genutzt werden können.

#Erstellung eines Datensatzes für natürliches Feedback

Durch manuelle Annotationen und unsere automatische Extraktionsmethode haben wir einen grossen Datensatz mit natürlichem Feedback aus einer Million Gesprächen zusammengestellt. Wir stellten fest, dass Gespräche, die Feedback enthielten, eine höhere durchschnittliche Anzahl an Gesprächsrunden hatten als solche ohne.

Die extrahierten Feedbackdaten enthielten eine Mischung aus positiven und negativen Beispielen, wobei eine signifikante Menge an Feedback für das Training von Modellen zur Verfügung stand.

#Training mit extrahiertem Feedback

Um die Nützlichkeit unserer Feedbackdaten zu zeigen, haben wir mehrere Modelle trainiert und Verbesserungen in der Leistung beobachtet. Die Modelle, die auf unserem Feedback-Datensatz trainiert wurden, zeigten signifikante Fortschritte im Vergleich zu ihren vortrainierten Versionen.

Wir führten menschliche Bewertungen durch, bei denen die trainierten Modelle besser bewertet wurden als ihre Basisversionen. Wir testeten auch offene Modelle, um die Qualität der Antworten zu beurteilen; allerdings waren sie anfangs weniger effektiv darin, zwischen den trainierten und untrainierten Modellen zu unterscheiden.

#Weitere Evaluierung mit GPT

Wir haben GPT-4 als Evaluator in unseren Experimenten verwendet und bestätigt, dass unsere trainierten Modelle besser abschnitten. Der Einsatz mehrerer Bewertungsmethoden stärkte unsere Schlussfolgerung, dass das extrahierte Feedback wertvoll ist.

#Vergleich mit zufälligen Stichproben

Als zusätzlichen Test verglichen wir das Training mit unseren extrahierten positiven Beispielen mit dem Training an zufälligen Chat-Beispielen. Die Modelle, die mit unserem Feedback trainiert wurden, zeigten deutlich bessere Ergebnisse.

#Nutzung negativer Rückmeldungen effektiv

Wir wollten auch sehen, wie negatives Feedback im Training genutzt werden könnte. Wir verwendeten die KTO-Methode, die es erlaubt, mit nicht-paarigen Präferenzdaten zu trainieren. Der Fokus auf die stärksten negativen Signale erwies sich als vorteilhaft für das Training unserer Modelle.

#Untersuchung der Auswirkungen der Taxonomie

Wir haben untersucht, wie unsere Feedbackkategorien den Extraktionsprozess beeinflussten. Durch das Testen verschiedener Taxonomien bestätigten wir, dass klare Kategorien die Extraktionsgenauigkeit verbesserten.

Als wir versuchten, mit weniger Kategorien zu arbeiten, wurde deutlich, dass es zwar einfacher schien, oft aber zu Verwirrung und ungenauen Extraktionen führte.

#Zukünftige Richtungen

Unsere Arbeit betont die Bedeutung von natürlich vorkommendem Feedback. Die laufende Entwicklung von Modellen könnte zu noch reichhaltigerem und besserem Feedback führen. Zukünftige Forschungen könnten sich darauf konzentrieren, Feedback in Echtzeit-Interaktionen zu integrieren.

Wir erwarten auch, dass mit der zunehmenden Nutzung von Sprachassistenten die Menge an gesammeltem Feedback steigen wird, was zu aufschlussreicheren Daten zur Verbesserung von Modellen führen wird.

#Fazit

Zusammenfassend haben wir erfolgreich gezeigt, dass natürlich vorkommendes Feedback in den Interaktionen zwischen Mensch und Modell reichlich vorhanden ist. Unsere Extraktionsmethode erlaubte es uns, eine bedeutende Menge nützlichen Feedbacks zu sammeln, das wir zum Trainieren von Modellen verwendet haben. Die vielversprechenden Ergebnisse zeigen das Potenzial, dieses Feedback in der Modellentwicklung zu nutzen, um die Ausrichtung auf menschliche Präferenzen zu verbessern. Wir glauben, dass es in diesem Bereich viel Spielraum für Verbesserungen und weitere Erkundungen gibt.