Fortschritte in der steuerbaren Textgenerierung mit LLMs

Die Kontrolle darüber, wie bestimmte Merkmale in Texten generiert werden, ist wichtig für verschiedene Aufgaben. Zum Beispiel gehört dazu, wie formell eine Nachricht ist, wie klar eine Erklärung ist oder wie emotional ein Chat wirkt. Grosse Sprachmodelle (LLMs) haben bedeutende Fortschritte in der Textgenerierung gemacht, was uns dazu drängt, Wege zu finden, diese Merkmale in ihren Ausgaben besser zu steuern.

Dieser Artikel schlägt eine Möglichkeit vor, zu messen, wie gut wir die Intensität bestimmter Merkmale im Text, den LLMs erstellen, kontrollieren können. Wir konzentrieren uns auf Metriken, die den Bereich, die Konsistenz und die Genauigkeit dieser Merkmale im generierten Text basierend auf verschiedenen Steuerungseinstellungen untersuchen. Wir bewerten auch, wie relevant der Text für das beabsichtigte Thema ist.

Um diese Aspekte zu messen, verwenden wir einen Bewertungsrahmen, der eine bekannte Bewertungsmethode (Elo-Bewertungssystem) mit einem leistungsstarken Sprachmodell (GPT-4) kombiniert. Beide Werkzeuge sind dafür bekannt, dass sie menschliche Urteile gut abbilden.

Unsere Forschung betrachtet zwei Methoden, die steuern können, wie LLMs Text erzeugen, ohne zusätzliches Training. Die erste Methode nutzt Aufforderungen mit sorgfältig ausgewählten Phrasen, die die Bedeutung von Sätzen verändern. Die zweite Methode modifiziert die internen Abläufe der Modelle. Wir testen diese Strategien über verschiedene Merkmale und Modelle hinweg und stellen einen Zugang zu unserem Code und unseren Datensätzen für weitere Forschungen zur Verfügung.

Ein spezieller Fall, den wir präsentieren, ist, wie wir die Klarheit von Erklärungen steuern: Durch Anpassung der Steuerungswerte können wir beeinflussen, wie professionell die Antworten sind, was eine detaillierte Anpassung in der Kommunikation ermöglicht.

Die steuerbare Texterzeugung, oder CTG, erfüllt die Anforderungen, die von Nutzern oder Anwendungen festgelegt werden. Zum Beispiel ist es oft notwendig, den Ton oder die Höflichkeit einer Nachricht in Dialogen anzupassen. Mit der zunehmenden Personalisierung der Sprachgenerierungssysteme wächst der Bedarf an dieser Fähigkeit.

Unser Fokus liegt auf einer klarer definierten Aufgabe, die als sanft steuerbare Texterzeugung (SCTG) bezeichnet wird. Während CTG-Aufgaben sicherstellen, dass der generierte Text bestimmten Eigenschaften entspricht, geht SCTG einen Schritt weiter, indem es verschiedene Intensitätsstufen eines Merkmals erlaubt. Zum Beispiel kann der Grad der Formalität beim Schreiben einer E-Mail je nach Empfänger variieren. Ein weiteres Beispiel wäre die Erklärung eines Konzepts; der Detailgrad kann je nach vorhandenem Wissen des Publikums variieren.

Erfolgreiche sanfte Kontrolle bedeutet, Antworten zu liefern, die nicht nur die gewünschte Merkmalsintensität beibehalten, sondern auch die ursprüngliche Frage angemessen beantworten, unabhängig von dieser Intensität. Wir skizzieren einen Rahmen mit Metriken zur Bewertung der Leistung der sanften Kontrolle in diesen beiden Bereichen.

Unsere Bewertung konzentriert sich auf zwei wichtige Teile. Zuerst schauen wir, ob die Intensitätsstufen angemessen sind, indem wir die Kalibrierung messen – wie genau die Intensität dem Steuerungswert entspricht – und die Varianz – wie stark die Intensität über verschiedene Antworten mit demselben Steuerungswert schwankt. Zweitens bewerten wir die Relevanz der Antworten zu den gegebenen Fragen.

Um diese Bewertung ohne menschliches Eingreifen zu erreichen, benötigen wir ein automatisches System, das die Intensität der Merkmale in den generierten Antworten genau misst. Wir verwenden ein hochmodernes LLM, um die menschliche Bewertung zu simulieren, zusammen mit dem Elo-Bewertungssystem, um sicherzustellen, dass diese Bewertungen mit menschlichen Urteilen übereinstimmen.

Konkret untersuchen wir Paare von Antworten mit unterschiedlichen Intensitätsstufen und verwenden GPT-4, um zu bestimmen, welche Antwort eine höhere Intensität ausdrückt. Dann nutzen wir den Elo-Bewertungsalgorithmus, um diese Vergleiche in absolute Punktzahlen umzuwandeln, die die Intensitätsniveaus der entsprechenden Antworten widerspiegeln. Um Kosten zu senken, haben wir diese Pipeline optimiert, sodass wir genaue Punktzahlen erhalten, ohne jedes einzelne Antwortpaar vergleichen zu müssen.

Da LLMs zunehmend beliebt werden, um Texte für verschiedene Anwendungen zu produzieren, hilft unsere Bewertungs-Pipeline zu untersuchen, wie gut sie sanfte Kontrolle erreichen.

Wir untersuchen zwei Methoden zur Erreichung dieser sanften Kontrolle mit LLMs. Die erste ist das Prompting mit sorgfältig ausgewählten Phrasen, bekannt als semantische Verschiebungen, die auf jedes Merkmal zugeschnitten sind. Die zweite Methode, die als Repräsentationsengineering (RepE) bezeichnet wird, modifiziert die internen Repräsentationen des Modells, um eine genauere Kontrolle über die Merkmalsintensität zu erreichen. Diese letztere Methode erfordert den Zugang zu den inneren Abläufen der Modelle, kann jedoch detailliertere Anpassungen bieten.

Wir führen Bewertungen zu einer Vielzahl von Aufgaben durch, einschliesslich der Modifikation emotionaler Intensität in lässigen Chats, der Anpassung des Grades an Klarheit und Formalität im Schreiben und der Kontrolle des Detailgrads in Erklärungen von Konzepten.

Unsere Ergebnisse zeigen einige Erkenntnisse: Erstens, grössere Modelle schneiden möglicherweise nicht immer besser bei der sanften Kontrolle ab. Zweitens scheint das Prompting nahezu genauso effektiv, wenn nicht sogar etwas besser als das Repräsentationsengineering zu sein.

Zu unseren wichtigsten Beiträgen gehören: Erstens definieren wir klar die Aufgabe der sanften Kontrolle und führen einen neuen Bewertungsstandard ein, einschliesslich eines effizienten Elo-basierten Bewertungssystems und eines umfassenden Datensatzes für Benchmarks. Zweitens bewerten wir die Leistung verschiedener LLMs hinsichtlich der sanften Kontrolle durch zwei trainingsfreie Ansätze gründlich. Der Datensatz und der Code, die in unserer Studie verwendet wurden, sind öffentlich zugänglich, um die laufende Forschung in diesem Bereich zu unterstützen.

#Verwandte Arbeiten

#Steuerbare Texterzeugung

Unsere Studie zur sanften Kontrolle baut auf der steuerbaren Texterzeugung (CTG) auf, die darauf abzielt, Sätze zu erstellen, die bestimmten Merkmalen wie Thema, Stimmung oder Stil entsprechen. Ein effektives Management dieser Merkmale ist entscheidend für anspruchsvolle Schreibaufgaben. Durch gleichzeitiges Manipulieren mehrerer Attribute ist es theoretisch möglich, kohärente und anpassungsfähige Textstücke zu produzieren, was es zu einem Schwerpunkt in der Forschung zur Texterzeugung macht.

Methoden zur Erreichung von CTG umfassen Prompting, Feinabstimmung und Nachbearbeitung bestehender Sprachmodelle, um Modelle zu schaffen, die besser für CTG geeignet sind. Feinabstimmung ist ein gängiger Ansatz, der oft Anpassungen nur an Teilen des Modells erfordert. Andere Methoden verwenden Verstärkungslernen, um aus Feedback zu den gewünschten Merkmalen im Text zu lernen. Einige Versuche beinhalten sogar das Training neuer Modelle, die speziell darauf abzielen, CTG-Bedürfnisse zu erfüllen. Mit der zunehmenden Grösse dieser Modelle ist es möglich geworden, CTG zu erreichen, ohne umfangreiche Anpassungen vorzunehmen.

In dieser Arbeit konzentrieren wir uns speziell auf Prompting und Repräsentationsengineering, da sie kein Retraining der Modelle erfordern, was sie praktischer für Anwendungen macht, insbesondere angesichts des Massstabs moderner LLMs.

#Textstilübertragung

Sanfte Kontrolle steht auch im Zusammenhang mit der Textstilübertragung (TST), die darauf abzielt, den Stil eines Textes zu ändern, während der zugrunde liegende Inhalt beibehalten wird. Wenn parallele Daten in verschiedenen Stilen nicht verfügbar sind, können Methoden darin bestehen, Inhalt von Stil im Repräsentationsraum zu trennen, gefolgt von generativen Techniken, um neuen Text mit gewünschten Stilen zu erstellen. Andere Strategien beinhalten das Extrahieren von Satzstrukturen und das Manipulieren ihrer Stilmarker, um die gewünschte Ausgabe zu erzielen.

TST wird in verschiedenen Aufgaben weit angewendet, einschliesslich personalisierter Dialoggeneration, stilistischer Zusammenfassungen und Online-Text-Immunisierung.

#Problemformulierung

In diesem Abschnitt definieren wir formal die Aufgabe der sanften Kontrolle in von LLM generierten Texten und führen den Benchmark-Datensatz ein, den wir zur Bewertung erstellt haben.

#Definition der sanften Kontrolle

Gegeben eine offene Frage, zielt die sanfte Kontrolle darauf ab, die Intensität eines bestimmten Merkmals im Text, der von LLMs generiert wird, fein abzustimmen. Diese Kontrolle sollte über einen Bereich von Werten hinweg gehen und präzise Modifikationen ermöglichen, die mit spezifischen Bedürfnissen oder Vorlieben übereinstimmen.

Für jede gegebene Anfrage, die viele mögliche Antworten zulässt, erfordert die sanfte Kontrolle die Spezifizierung eines Attributs und die Bereitstellung eines Steuerungswerts, der das Modell anleitet, eine massgeschneiderte Antwort zu generieren. Idealerweise sollte die beobachtete Intensität des Attributs in der Antwort mit dem beabsichtigten Steuerungswert übereinstimmen.

Wir konzentrieren uns auf drei Hauptaspekte bei der Untersuchung der sanften Kontrolle:

1. Steuerungswert: Idealerweise sollte der Steuerungswert eine reelle Zahl sein. Da es jedoch viele mögliche Antworten gibt, die in der Intensität variieren, kann die Bewertung schwierig werden. Um dem zu begegnen, verwenden wir 10 diskrete Werte (0-9), um sanfte Kontrolle zu simulieren.

2. Intensitätsmessung: Es gibt keine standardisierte Methode zur genauen Messung der Intensität eines bestimmten Merkmals in einer gegebenen Antwort, was eine erhebliche Herausforderung für die Bewertung darstellt.

3. Intensitätskorrelation: Der Zusammenhang zwischen dem Steuerungswert und der Intensität des Merkmals in einer Antwort spiegelt wider, wie gut eine Methode und ein Modell sanfte Kontrolle managen können.

Um diese Bewertung zu erleichtern, schlagen wir einen neuen automatischen Bewertungsrahmen vor, der auf dem Vergleich von Antwortpaaren und der Bewertung der Intensität der Merkmale basiert.

#Benchmark-Datenkonstruktion

Für die Aufgabe der sanften Kontrolle sind die Anfrage, das Attribut und der Steuerungswert Schlüsselkomponenten. Wie bereits erwähnt, wird der Steuerungswert auf 10 diskrete Optionen festgelegt. Im Folgenden skizzieren wir den Auswahlprozess für die Anfragen und Attribute, die zum Aufbau des Benchmark-Datensatzes verwendet wurden.

#Attributauswahl

In gängigen Anwendungen umfassen die Hauptattribute von Text normalerweise:

• Stimmung: Dies bezieht sich auf den emotionalen Ton des Textes, wie Wut oder Glück.
• Stil: Dies umfasst Aspekte des Schreibens, wobei Formalität und Klarheit zwei wichtige Elemente für effektive Kommunikation sind.
• Linguistische Eigenschaft: Dies spiegelt strukturelle Merkmale des Textes wider, wobei Prägnanz ein bedeutendes Merkmal für die effiziente Informationsübermittlung ist.

Wir wählen praktische Attribute für unsere Bewertung aus und kennzeichnen sie entsprechend, um die Referenz zu erleichtern.

#Abfragegenerierung

Um die sanfte Kontrolle effektiv zu bewerten, müssen wir sicherstellen, dass die ausgewählten Anfragen gültige Antworten auf verschiedene Weise generieren können, insbesondere wenn sie durch ein gegebenes Attribut eingeschränkt sind. Jede Anfrage sollte in der Lage sein, mindestens 10 verschiedene Antworten zu eliciteren, wobei jede eine andere Intensität des angegebenen Attributs aufweist.

Um diesen Prozess zu optimieren, nutzen wir ein modernes Sprachmodell (GPT-4-turbo), um die Anfragen zu generieren, und stellen sicher, dass sie eine vielfältige Auswahl an Antworten produzieren können. Unser konstruierter Datensatz umfasst letztendlich 1.500 Anfragesätze, die fünf verschiedene Attribute abdecken.

#Bewertung der sanften Kontrolle

Wir beginnen, indem wir unser automatisches Bewertungssystem vorstellen und dann die Metriken präsentieren, die wir erstellt haben, um die Leistung der sanften Kontrolle zu bewerten.

#Bewertungssystem

Um zu messen, wie gut ein Satz ein bestimmtes Merkmal ausdrückt, benötigen wir eine automatisierte Methode. Wir nutzen das Elo-Bewertungssystem, das sich in den letzten Bewertungen als effektiv erwiesen hat.

Elo modelliert Bewertungen, um die Wahrscheinlichkeit zu erfassen, dass eine Instanz einer anderen vorgezogen wird, was in unserem Fall bedeutet, Sätze basierend darauf zu vergleichen, wie stark sie ein bestimmtes Merkmal zeigen.

Wir berechnen Bewertungen basierend auf paarweisen Vergleichen von Sätzen und bestimmen die Wahrscheinlichkeit der Bevorzugung basierend auf den Bewertungsunterschieden.

#Menschliche Bewertung des Bewertungssystems

Wir validieren, wie genau die von unserem System erzeugten Bewertungen menschliche Meinungen widerspiegeln, sowohl durch qualitative als auch durch quantitative Studien.

In der qualitativen Studie gruppieren wir Sätze basierend auf ihren berechneten Bewertungen und präsentieren Beispiele, um zu beobachten, wie gut diese Gruppen verschiedenen Intensitätsstufen entsprechen.

In der quantitativen Studie nehmen wir zufällige Paare von Sätzen mit unterschiedlichen Bewertungsunterschieden und bitten menschliche Annotatoren, Präferenzen zu identifizieren. Wir erstellen Diagramme, die den Prozentsatz menschlicher Präferenzen im Vergleich zur theoretischen Gewinnwahrscheinlichkeit zeigen, die aus dem Elo-Algorithmus abgeleitet wurde.

Die Ergebnisse zeigen eine starke Übereinstimmung zwischen menschlichen Präferenzen und den Elo-Bewertungen, was die Effektivität unseres Systems anzeigt. Diese Genauigkeit gilt nicht für schwächere Modelle, die dazu tendieren, Präferenzen falsch einzuschätzen.

#Beschleunigung der Elo-Berechnungen

Unsere Forschung zeigt, dass wir für jede Gruppe von Sätzen, die GPT-4 als paarweisen Annotator verwenden, Elo-Bewertungen effizient berechnen können. In der Regel sind umfangreiche paarweise Vergleiche erforderlich, um die Bewertungen sicher abzuschätzen, aber wir führen Strategien ein, um diesen Prozess zu beschleunigen.

Indem wir eine "Bibliothek" ausgewählter Sätze erstellen, können wir neue Sätze mit dieser Bibliothek vergleichen, um Bewertungen zu bestimmen, ohne zahlreiche paarweise Vergleiche durchführen zu müssen.

Diese Methode reduziert den Aufwand zur Erreichung zuverlässiger Bewertungen für neue Sätze erheblich.

#Bewertungsmetriken

Wir bewerten die Kontrollqualität für ein bestimmtes Merkmal, indem wir verschiedene Fragen analysieren, die auf unterschiedlichen Steuerungswerten basieren. Wir schlagen drei Metriken vor, die auf den durch die Methode generierten Sätzen und deren von unserem System berechneten Punktzahlen basieren.

1. Mean-MAE: Dies misst den Fehler in den Satzbewertungen basierend auf Steuerungswerten. Es hilft zu quantifizieren, wie genau generierte Sätze dem optimalen Steuerungswert entsprechen.

2. Mean-STD: Dies bewertet die Variation der Satzbewertungen über verschiedene Steuerungswerte hinweg. Eine erfolgreiche sanfte Kontrollmethode sollte konsistente Intensitätsniveaus liefern.

3. Relevanz: Dies misst, wie gut die Antworten die ursprünglichen Fragen ansprechen. Ein perfekter Ansatz zur sanften Kontrolle sollte die Nützlichkeit der Antworten nicht zugunsten verbesserter Fehlermetriken opfern.

#Experimentaufbau

Wir führen Bewertungen über verschiedene LLMs durch, um deren Fähigkeiten zur sanften Kontrolle für verschiedene Attribute zu bewerten. Hier präsentieren wir die Modelle, Attribute und Datensätze, die in unseren Experimenten verwendet wurden.

#Modelle

Für unsere Experimente nutzen wir sowohl Open-Source- als auch Closed-Source-LLMs, einschliesslich Mistral und LLaMA2, wobei wir uns insbesondere auf solche konzentrieren, die Zugang zu internen Parametern bieten.

#Attribute

Wie bereits erwähnt, bewerten wir in unserer Arbeit mehrere Merkmale, insbesondere die mit Stimmung, Stil und Klarheit verbundenen Attribute.

#Datensatz

Wir verwenden den Benchmark-Datensatz, den wir erstellt haben, der 1.500 Anfragesätze in den fünf Attributbereichen umfasst.

#Metriken

Gemäss unserem Bewertungsrahmen basiert unsere Bewertung auf Mean-MAE, Standardabweichung und Relevanz.

#Experimentergebnisse

Wir präsentieren die Ergebnisse unserer Bewertungen und vergleichen die Leistung der sanften Kontrolle über verschiedene Modelle und Methoden hinweg. Interessanterweise zeigt GPT-4 durchgängig bessere Leistungen über alle Attribute hinweg und weist deutlich niedrigere Mean-MAE auf, was auf eine bessere Konsistenz zwischen Steuerungswerten und generierten Intensitäten hinweist.

Erstaunlicherweise stellen wir fest, dass grössere Modelle nicht immer zu besserer sanfter Kontrolle führen. Beim Testen der LLaMA-Familie sehen wir, dass Zunahmen in der Modellgrösse mit sinkenden Mean-MAE über mehrere Attribute korrelieren.

Darüber hinaus erkennen wir, dass Prompting-Methoden vergleichbare oder bessere Ergebnisse erzielen als das Repräsentationsengineering. Dies deutet darauf hin, dass Prompting für praktische Anwendungen vorteilhafter sein könnte, da es keinen Zugang zu internen Modellparametern erfordert und dennoch eine effektive Kontrolle erreicht.

#Spezifität der Parametersauswahl

Wir untersuchen, ob die Deskriptoren, die zur Anpassung der Intensitäten im Prompting verwendet werden, modell-spezifisch sind oder universell angewendet werden können. Unsere Ergebnisse zeigen, dass Deskriptoren auf jedes Modell zugeschnitten werden müssen, da unterschiedliche Modelle möglicherweise besser auf verschiedene Intensitätsdeskriptoren reagieren.

Der Vergleich des Erfolgs fester semantischer Verschiebungen mit ausgewählten Deskriptoren zeigt, dass letztere die Leistung erheblich steigern.

#Fazit und zukünftige Arbeiten

Diese Arbeit untersucht die sanft steuerbare Texterzeugung mit LLMs. Wir entwickeln ein Bewertungssystem zur Bewertung der sanften Kontrollmethoden basierend auf verschiedenen Merkmalsintensitäten. Das System integriert effizient Elo-Bewertungen, um Bewertungen zu automatisieren.

Durch umfassende Tests von zwei Methoden – Prompting und Repräsentationsengineering – stellen wir fest, dass grössere Modelle manchmal die Leistung beeinträchtigen können und dass Prompting oft bessere Ergebnisse erzielt.

Für die Zukunft erkennen wir Einschränkungen in unserer aktuellen Verwendung von LLMs für Bewertungen und schlagen vor, dass zukünftige Arbeiten Aspekte untersuchen könnten, die eine Feinabstimmung des Modells erfordern, oder andere weiche Kontrollmethoden erforschen.

Unsere Studie wird von mehreren Organisationen unterstützt und erkennt an, dass die Ergebnisse die Ansichten der Autoren widerspiegeln und nicht unbedingt die der finanzierenden Stellen.

#Prompt-Vorlagen

Im Folgenden sind die Vorlagen aufgeführt, die in unserer Studie verwendet wurden:

Vorlage zur Generierung von Fragen: "Generiere 10 Aufforderungen, die mit unterschiedlichen Graden von <Konzept> beantwortet werden können."

Vorlage zur paarweisen Annotation: "Identifiziere für jedes Paar von Antworten, welche Antwort mehr <Konzept> ausdrückt. Schreibe die Paarnummer, gefolgt von '1', wenn die erste Antwort mehr <Konzept> ist, oder '2', wenn die zweite Antwort mehr <Konzept> ist. Formatiere deine Antwort so: '1. 1', '2. 2', usw."

Vorlage zur Relevanzannotation: "Gib die folgende Anfrage und Antwort an und bewerte, ob die Antwort relevant für die Anfrage ist. Antworte mit '1', wenn die Antwort relevant ist, und '0', wenn sie nicht relevant ist."

Vorlage zum Prompting mit Gradbeschreibungen: "Bitte antworte auf Anfragen[i] mit einem Absatz in einem [Tonstil], der semantische Verschiebungen enthält. Die Antwort sollte drei Sätze lang sein."

Vorlage zur Generierung von Gradbeschreibungen: "Beschreibe <Konzept> Niveaus auf einer Skala von -9 bis 10 mit Phrasen."

Vorlage zur Generierung von Stimulus-Prompts: "Generiere 10 Aufforderungen, die <Konzept> stimulieren können."

Kandidaten für semantische Verschiebungen Vorlage

Analyse der Parametersauswahl: "Wir berücksichtigen verschiedene Sets von (von 0 bis 1) für den gewichteten Durchschnitt von Mean-MAE und Mean-STD, um die Gesamtmetriken zu berechnen."

Beispiele für generierte Daten: Diese umfassen eine vielfältige Reihe von Aufforderungen und deren entsprechenden Antworten basierend auf verschiedenen Emotionen, Stilen und Detailgraden, um die gesamten Möglichkeiten der sanften Kontrolle zu demonstrieren.

Dieser lange Artikel fasst die Forschungsergebnisse klar zusammen und bietet einen prägnanten Überblick über die Methoden, Bewertungen und Implikationen der sanften Kontrolle in der Texterzeugung mit LLMs.