Avanzamenti nella generazione di testo controllabile con LLMs

Controllare come vengono generate certe caratteristiche nel testo è importante per vari compiti. Per esempio, questo include aggiustare quanto sia formale un messaggio, quanto chiara sia un' spiegazione o quanto sia emotivo un chat. I grandi modelli di linguaggio (LLM) hanno fatto notevoli progressi nella generazione di testo, spingendoci a trovare modi per controllare meglio queste caratteristiche nei loro output.

Questo articolo propone un modo per misurare quanto bene possiamo controllare l'intensità di specifiche caratteristiche nel testo che gli LLM creano. Ci concentriamo su metriche che esaminano l'intervallo, la coerenza e l'accuratezza di queste caratteristiche nel testo generato, basato su diverse impostazioni di controllo. Valutiamo anche quanto sia rilevante il testo per l'argomento previsto.

Per misurare questi aspetti, utilizziamo un Framework di Valutazione che combina un metodo di scoring ben noto (sistema di rating Elo) con un potente modello di linguaggio (GPT-4). Entrambi gli strumenti sono conosciuti per allinearsi strettamente al giudizio umano.

La nostra ricerca guarda a due metodi che possono aggiustare come gli LLM producono testo senza la necessità di ulteriore addestramento. Il primo metodo utilizza prompt con frasi accuratamente selezionate che cambiano il significato delle frasi. Il secondo metodo modifica il funzionamento interno dei modelli. Testiamo queste strategie su diverse caratteristiche e modelli e forniamo un modo per accedere al nostro codice e ai dataset per ulteriori ricerche.

Un caso specifico che mostriamo è come controlliamo la chiarezza delle spiegazioni: regolando i valori di controllo, possiamo cambiare quanto siano professionali le risposte, permettendo una personalizzazione dettagliata nella comunicazione.

La Generazione di Testo Controllabile, o CTG, soddisfa la necessità di requisiti specifici stabiliti da utenti o applicazioni. Per esempio, aggiustare il tono o la cortesia di un messaggio è spesso necessario nei dialoghi. Man mano che i sistemi di generazione linguistica diventano più personalizzati, cresce la necessità di questa capacità.

Il nostro focus è su un compito più definito chiamato generazione di testo controllabile in modo fluido (SCTG). Mentre i compiti di CTG assicurano che il testo generato soddisfi certe caratteristiche, SCTG porta le cose un passo oltre permettendo diversi livelli di intensità di una caratteristica. Per esempio, quando scrivi un'email, il livello di formalità potrebbe cambiare a seconda del destinatario. Un altro esempio è quando si spiega un concetto; il dettaglio può variare in base alla conoscenza preesistente del pubblico.

Un controllo fluido di successo significa fornire risposte che non solo mantengono l'intensità della caratteristica desiderata ma rispondono anche in modo appropriato alla domanda originale, indipendentemente da quell'intensità. Delineiamo un framework con metriche per valutare le performance del controllo fluido in queste due aree.

La nostra valutazione si concentra su due parti chiave. Prima di tutto, vediamo se i livelli di intensità sono appropriati misurando la calibrazione-quanto l'intensità corrisponde al valore di controllo-e la varianza-quanto l'intensità cambia nelle diverse risposte con lo stesso valore di controllo. Secondo, valutiamo la rilevanza delle risposte rispetto alle domande fornite.

Per raggiungere questa valutazione senza input umano, necessitiamo di un sistema automatico che misuri con accuratezza l'intensità delle caratteristiche nelle risposte generate. Utilizziamo un LLM all'avanguardia per simulare la valutazione umana, insieme al sistema di rating Elo per garantire che queste valutazioni siano allineate con i giudizi umani.

In particolare, esaminiamo coppie di risposte con livelli di intensità differenti e usiamo GPT-4 per determinare quale risposta esprima un'intensità più alta. Successivamente utilizziamo l'algoritmo di rating Elo per convertire questi confronti in punteggi assoluti, che riflettono i livelli di intensità delle risposte corrispondenti. Per ridurre i costi, abbiamo ottimizzato questa pipeline, permettendoci di ottenere punteggi accurati senza dover confrontare ogni singola coppia di risposte.

Man mano che gli LLM guadagnano popolarità nella produzione di testi per varie applicazioni, la nostra pipeline di valutazione aiuta a esaminare la loro capacità di ottenere un controllo fluido.

Indaghiamo due metodi per raggiungere questo controllo fluido con gli LLM. Il primo è il prompting con frasi accuratamente selezionate, note come "semantic shifters", personalizzate per ogni caratteristica. Il secondo metodo, chiamato Ingegneria della Rappresentazione (RepE), modifica le rappresentazioni interne del modello per ottenere un controllo più preciso sull'intensità delle caratteristiche. Questo ultimo metodo richiede l'accesso ai funzionamenti interni dei modelli, ma può offrire regolazioni più dettagliate.

Eseguiamo valutazioni su una vasta gamma di compiti, inclusa la modifica dell'intensità emotiva nei chat casuali, l'aggiustamento del grado di chiarezza e formalità nella scrittura, e il controllo del livello di dettaglio nelle spiegazioni dei concetti.

Le nostre scoperte rivelano alcune intuizioni: primo, i modelli più grandi potrebbero non sempre funzionare meglio in termini di controllo fluido. Secondo, il prompting sembra quasi altrettanto efficace, se non leggermente migliore, rispetto all'ingegneria della rappresentazione.

I nostri contributi chiave includono: primo, definiamo chiaramente il compito del controllo fluido e introduciamo un nuovo standard di valutazione, compreso un efficiente sistema di rating basato su Elo e un dataset completo per il benchmarking. Secondo, valutiamo a fondo le performance di vari LLM riguardo al controllo fluido attraverso due approcci senza addestramento. Il dataset e il codice utilizzati nel nostro studio sono disponibili pubblicamente per supportare la ricerca continua in questo campo.

#Lavori Correlati

#Generazione di Testo Controllabile

Il nostro studio sul controllo fluido si basa sulla generazione di testo controllabile (CTG), che mira a creare frasi che si adattano a caratteristiche specifiche come argomento, sentiment o stile. Gestire efficacemente queste caratteristiche è vitale per compiti di scrittura avanzati. Manipolando più attributi insieme, è teoricamente possibile produrre pezzi di testo coerenti e adattabili, rendendolo un punto focale nella ricerca sulla generazione di testo.

I metodi per raggiungere il CTG includono il prompting, il fine-tuning e il post-processing di modelli di linguaggio esistenti per creare modelli più adatti al CTG. Il fine-tuning è un approccio comune, spesso richiedendo aggiustamenti solo a parti del modello. Altri metodi impiegano il reinforcement learning per apprendere dai feedback riguardo alle caratteristiche desiderate nel testo. Alcuni tentativi coinvolgono anche l'addestramento di nuovi modelli pensati specificamente per soddisfare le necessità del CTG. Con la crescente dimensione di questi modelli, è diventato possibile raggiungere il CTG senza richiedere aggiustamenti estesi.

In questo lavoro, ci concentriamo specificamente sul prompting e sull'ingegneria della rappresentazione in quanto non richiedono di riaddestrare i modelli, rendendoli più pratici per l'applicazione, specialmente considerando la scala degli LLM moderni.

#Trasferimento di Stile Testuale

Il controllo fluido è anche legato al trasferimento di stile testuale (TST), che mira a modificare lo stile del testo mantenendo il suo contenuto sottostante. Quando i dati paralleli in stili diversi non sono disponibili, i metodi possono coinvolgere la separazione del contenuto dallo stile nello spazio di rappresentazione, seguita da tecniche generative per creare nuovo testo con stili desiderati. Altre strategie coinvolgono l'estrazione delle strutture delle frasi e la manipolazione dei loro marker di stile per ottenere l'output desiderato.

Il TST è ampiamente applicato in vari compiti, inclusa la generazione di dialoghi personalizzati, la sintesi stilistica e il debiasing del testo online.

#Formulazione del Problema

In questa sezione, definiamo formalmente il compito del controllo fluido nel testo generato dagli LLM e introduciamo il dataset di benchmark che abbiamo creato per la valutazione.

#Definizione del Controllo Fluido

Data una domanda aperta, il controllo fluido mira a regolare finemente l'intensità di una particolare caratteristica nel testo generato dagli LLM. Questo controllo dovrebbe estendersi su una gamma di valori, permettendo modifiche precise che si allineano con necessità o preferenze specifiche.

Per qualsiasi query data che ammette molte possibili risposte, il controllo fluido richiede di specificare un attributo e fornire un valore di controllo che guiderà il modello a generare una risposta su misura. Idealmente, l'intensità osservata dell'attributo nella risposta dovrebbe corrispondere al valore di controllo previsto.

Ci concentriamo su tre aspetti principali quando indaghiamo il controllo fluido:

1. Valore di Controllo: Idealmente, il valore di controllo dovrebbe essere un numero reale. Tuttavia, poiché possono esserci molte risposte possibili che variano in intensità, la valutazione può diventare difficile. Per affrontare questo, utilizziamo 10 valori discreti (0-9) per imitare il controllo fluido.

2. Misurazione dell'Intensità: Non esiste un metodo standard per misurare l'esatta intensità di una caratteristica specifica in una risposta data, il che presenta una sfida significativa per la valutazione.

3. Correlazione di Intensità: Il legame tra il valore di controllo e l'intensità della caratteristica in una risposta riflette quanto bene un metodo e un modello possono gestire il controllo fluido.

Per facilitare questa valutazione, proponiamo un nuovo framework di valutazione automatica basato sul confronto di coppie di risposte e sulla valutazione dell'intensità delle caratteristiche.

#Costruzione del Dato di Benchmark

Per il compito di controllo fluido, la query, l'attributo e il valore di controllo sono componenti chiave. Come notato, il valore di controllo è impostato su 10 opzioni discrete. Di seguito, delineiamo il processo di selezione per le query e gli attributi utilizzati per costruire il dataset di benchmark.

#Selezione degli Attributi

Nelle applicazioni comuni, i principali attributi del testo includono solitamente:

• Sentiment: Questo si riferisce al tono emotivo del testo, come rabbia o felicità.
• Stile: Questo comprende aspetti di scrittura, con formalità e chiarezza che sono due elementi cruciali per una comunicazione efficace.
• Proprietà Linguistica: Questo riflette caratteristiche strutturali del testo, dove la concisione è un aspetto significativo per una consegna efficiente delle informazioni.

Scegliamo attributi pratici per la nostra valutazione, etichettandoli di conseguenza per una facile consultazione.

#Generazione delle Query

Per valutare efficacemente il controllo fluido, dobbiamo garantire che le query selezionate possano generare risposte valide in vari modi, particolarmente quando vincolate da un dato attributo. Ogni query dovrebbe essere in grado di suscitare almeno 10 risposte diverse, ognuna con un'intensità variabile dell'attributo specificato.

Per semplificare questo processo, utilizziamo un moderno modello di linguaggio (GPT-4-turbo) per generare le query, assicurandoci che possano produrre una gamma diversificata di risposte. Il nostro dataset costruito include infine 1,500 frasi di query che coprono cinque attributi distinti.

#Valutazione del Controllo Fluido

Iniziamo introducendo il nostro sistema di rating automatico e poi presentiamo le metriche che abbiamo creato per valutare le performance del controllo fluido.

#Sistema di Rating

Per misurare quanto bene una frase esprima una caratteristica specifica, abbiamo bisogno di un metodo automatizzato. Utilizziamo il sistema di rating Elo, che è stato efficace in recenti valutazioni.

Elo modella le valutazioni per catturare la probabilità che un'istanza sia preferita rispetto a un'altra, che nel nostro caso si traduce nel confrontare frasi in base a quanto fortemente esibiscano una certa caratteristica.

Calcoliamo le valutazioni basate su confronti coppia a coppia delle frasi, determinando la probabilità di preferenza basata sulle differenze di rating.

#Valutazione Umana del Sistema di Rating

Verifichiamo quanto le valutazioni prodotte dal nostro sistema riflettano le opinioni umane attraverso studi sia qualitativi che quantitativi.

Nello studio qualitativo, raggruppiamo le frasi in base alle loro valutazioni calcolate e presentiamo campioni per osservare quanto bene questi gruppi corrispondano a diversi livelli di intensità.

Nello studio quantitativo, prendiamo coppie casuali di frasi con differenze di rating variabili e chiediamo agli annotatori umani di identificare le preferenze. Creiamo grafici che mostrano la percentuale delle preferenze umane rispetto alla probabilità teorica di vittoria derivata dall'algoritmo Elo.

I risultati dimostrano una forte corrispondenza tra le preferenze umane e i ratings Elo, indicando l'efficacia del nostro sistema. Questa accuratezza non si mantiene per modelli più deboli, che tendono a giudicare erroneamente le preferenze.

#Accelerazione dei Calcoli Elo

La nostra ricerca mostra che per qualsiasi gruppo di frasi, utilizzare GPT-4 come annotatore coppia a coppia ci consente di calcolare le valutazioni Elo in modo efficiente. Di solito, sono necessari estesi confronti coppia a coppia per stimare con certezza le valutazioni, ma introduciamo strategie per accelerare questo processo.

Stabilendo una "biblioteca" di frasi selezionate, possiamo confrontare nuove frasi con questa biblioteca per determinare le valutazioni senza dover eseguire numerosi confronti coppia a coppia.

Questo metodo riduce significativamente lo sforzo richiesto per raggiungere valutazioni affidabili per nuove frasi.

#Metriche di Valutazione

Valutiamo la qualità del controllo per una caratteristica specifica analizzando varie domande condizionate su diversi valori di controllo. Proponiamo tre metriche basate sulle frasi generate dal metodo e sui loro punteggi calcolati dal nostro sistema.

1. Mean-MAE: Questo misura l'errore nelle valutazioni delle frasi basato sui valori di controllo. Aiuta a quantificare quanto da vicino le frasi generate corrispondano al controllo ottimale.

2. Mean-STD: Questo valuta la variazione nelle valutazioni delle frasi attraverso diversi valori di controllo. Un metodo di controllo fluido di successo dovrebbe produrre livelli di intensità coerenti.

3. Rilevanza: Questo misura quanto bene le risposte affrontano le domande originali. Un perfetto approccio di controllo fluido non dovrebbe sacrificare l'utilità della risposta per migliorare le metriche di errore.

#Setup dell'Esperimento

Eseguiamo valutazioni su vari LLM per valutare le loro capacità di controllo fluido per diversi attributi. Qui presentiamo i modelli, gli attributi e i dataset utilizzati nei nostri esperimenti.

#Modelli

Per i nostri esperimenti, utilizziamo sia modelli LLM open-source che closed-source, inclusi Mistral e LLaMA2, concentrandoci in particolare su quelli che consentono l'accesso ai parametri interni.

#Attributi

Come menzionato in precedenza, valutiamo diverse caratteristiche nel nostro lavoro, focalizzandoci specificamente su attributi relativi a sentiment, stile e chiarezza.

#Dataset

Utilizziamo il dataset di benchmark che abbiamo creato, che include 1,500 frasi di query nei cinque ambiti di attributi.

#Metriche

Secondo il nostro framework di valutazione, basiamo la nostra valutazione su mean-MAE, deviazione standard e rilevanza.

#Risultati degli Esperimenti

Presentiamo i risultati delle nostre valutazioni, confrontando le performance di controllo fluido attraverso diversi modelli e metodi. Nonostante ciò, GPT-4 supera costantemente gli altri modelli su tutti gli attributi, mostrando un mean-MAE notevolmente più basso, indicando una migliore coerenza tra i valori di controllo e le intensità generate.

È interessante notare che troviamo che i modelli più grandi non portano sempre a un superiore controllo fluido. Nel testare la famiglia LLaMA, vediamo che gli aumenti nelle dimensioni del modello si correlano con una diminuzione del mean-MAE attraverso diversi attributi.

Inoltre, riconosciamo che i metodi di prompting producono risultati paragonabili o migliori rispetto all'ingegneria della rappresentazione. Questo suggerisce che il prompting potrebbe essere preferibile per applicazioni pratiche, poiché non richiede accesso interno al modello pur raggiungendo un controllo efficace.

#Specificità della Selezione dei Parametri

Esploriamo se i descrittori utilizzati per regolare le intensità nel prompting siano specifici per il modello o possano essere applicati universalmente. I nostri risultati indicano che i descrittori devono essere personalizzati per ogni modello, poiché i diversi modelli possono rispondere meglio a distinti descrittori di intensità.

Confrontando il successo dei semantic shifters fissi contro i descrittori selezionati, emerge che questi ultimi migliorano significativamente le performance.

#Conclusioni e Lavori Futuri

Questo lavoro indaga la generazione di testo controllabile in modo fluido con gli LLM. Sviluppiamo un sistema di valutazione per assessore i metodi di controllo fluido basati su diverse intensità di caratteristiche. Il sistema incorpora in modo efficiente le valutazioni Elo per automatizzare le valutazioni.

Attraverso test completi di due metodi-prompting e ingegneria della rappresentazione-scopriamo che modelli più grandi possono a volte ostacolare le performance e che il prompting spesso produce risultati migliori.

Guardando avanti, riconosciamo le limitazioni nel nostro attuale utilizzo degli LLM per le valutazioni e suggeriamo che futuri lavori potrebbero indagare aspetti che richiedono il fine-tuning del modello o esplorare altri metodi di controllo morbido.

Il nostro studio è sponsorizzato da diverse organizzazioni e riconosce che i risultati riflettono le opinioni degli autori, non necessariamente quelle di entità di finanziamento.

#Modelli di Prompt

Di seguito ci sono i modelli utilizzati nel nostro studio:

Modello di Generazione Domande: "Genera 10 prompt che possono essere risposti con gradi variabili di ."

Modello di Annotazione Coppia a Coppia: "Per ogni coppia di risposte, identifica quale risposta esprime più . Scrivi il numero della coppia seguito da '1' se la prima risposta è più , o '2' se la seconda risposta è più . Formatta la tua risposta in questo modo: '1. 1', '2. 2', ecc."

Modello di Annotazione Rilevanza: "Data la seguente query e risposta, per favore valuta se la risposta è rilevante per la query. Rispondi con '1' se la risposta è rilevante e '0' se non è rilevante."

Modello di Prompting con Descrizioni di Grado: "Per favore rispondi a queries[i] con un paragrafo in uno [stile tono] che è un semantic shifter. La risposta dovrebbe essere lunga tre frasi."

Modello di Generazione Descrizioni di Grado: "Descrivendo i livelli di su una scala da -9 a 10 usando frasi."

Modello di Generazione Stimoli: "Genera 10 prompt che possono stimolare ."

Candidati per Semantic Shifters

Analisi della Selezione dei Parametri: "Abbiamo considerato diversi set di (da 0 a 1) per la media ponderata di Mean-MAE e Mean-STD per calcolare la metrica complessiva."

Esempi di Dati Generati: Questi includono una diversificata gamma di prompt e le loro corrispondenti risposte basate su varie emozioni, stili e livelli di dettaglio per dimostrare l'intero spettro delle capacità di controllo fluido.

Questo articolo lungo riassume chiaramente i risultati della ricerca e fornisce una panoramica concisa dei metodi, delle valutazioni e delle implicazioni del controllo fluido nella generazione di testo utilizzando gli LLM.