Migliorare i modelli linguistici con feedback diversi

I modelli di linguaggio grandi (LLMs) vengono usati per tante cose, come riassumere testi, aiutare la gente a trovare informazioni online e far funzionare chatbot. Questi modelli imparano in modi diversi. Prima assorbono un sacco di informazioni senza alcuna guida. Poi, possono essere migliorati grazie a un addestramento con esempi forniti da persone (questo si chiama fine-tuning supervisionato) e imparando dai Feedback su cosa piace alla gente (questo si chiama apprendimento rinforzato da feedback umano).

Raccogliere buoni esempi per l'addestramento può essere complicato. A volte gli esempi non sono abbastanza, oppure non sono di buona qualità. Anche i modi in cui la gente fornisce feedback possono essere diversi. Ad esempio, alcuni feedback possono semplicemente indicare quale risposta è migliore (sì o no), mentre altri possono dare punteggi o commenti dettagliati.

Per affrontare queste sfide, proponiamo un nuovo modo per fare fine-tuning agli LLMs che utilizza diversi tipi di feedback. Il nostro metodo ha due parti principali. Prima, uniamo diversi tipi di feedback in un formato unico che può essere usato per l'addestramento. Poi, selezioniamo un gruppo più piccolo e di alta qualità di esempi da questo dataset combinato. Questo gruppo più piccolo può effettivamente aiutare il Modello a fare meglio rispetto all'utilizzo di tutti gli esempi.

Abbiamo fatto molti test per vedere quanto bene funziona il nostro metodo. Abbiamo scoperto che può migliorare la capacità dei modelli di seguire le istruzioni e aiutare a ridurre il bias nelle loro risposte.

#Come Funziona il Fine-Tuning

Il fine-tuning degli LLMs implica ajustarli per compiti specifici. Ad esempio, InstructGPT è un modello fine-tuned per seguire istruzioni. Il processo inizia raccogliendo esempi su come vogliamo che il modello si comporti. Questo implica un apprendimento supervisionato, dove il modello impara dagli esempi forniti. Alcuni modelli si fermano qui, mentre altri, come InstructGPT, continuano a essere addestrati usando feedback su cosa preferisce la gente.

Quando facciamo fine-tuning, il dataset spesso consiste in un solo tipo di feedback. Ci sono vari dataset disponibili per compiti diversi, come assistenti chat, identificazione di pronomi e assicurare utilità e onestà. Il modo in cui viene dato il feedback in questi dataset può variare. Ad esempio, alcuni dataset potrebbero usare semplici feedback sì/no, mentre altri potrebbero dare punteggi numerici. Anche se il fine-tuning è utile, spesso si basa su un solo tipo di feedback, il che può limitare quanto bene il modello impara.

#Miglioramenti Precedenti nel Fine-Tuning

Recentemente, ci sono stati sforzi per migliorare la qualità dei dataset di fine-tuning. Alcuni lavori hanno usato LLMs per creare raggruppamenti significativi di esempi. Altri hanno esaminato come i cambiamenti nei prompt possono mostrare quanto il modello sia incerto sulle sue risposte. Alcuni studi hanno trovato modi per migliorare le prestazioni anche usando solo una piccola parte dei dati originali.

Introduciamo un framework che consente di utilizzare più tipi di dataset di fine-tuning contemporaneamente. Questo ci consente di addestrare il modello per diversi compiti insieme, come migliorare il ragionamento logico mentre riduciamo anche il bias. Allargando i tipi di dati che usiamo, otteniamo un'idea migliore di cosa preferisce la gente, il che aiuta a creare un processo di fine-tuning più efficace.

#Il Framework

Il primo passo nel nostro framework è unire diversi dataset in uno che contenga vari tipi di feedback. Poi, assegniamo punteggi a ciascun esempio in base alla sua qualità e alla varietà di prompt. Filtriamo quindi alcuni esempi che non soddisfano determinati standard per creare un dataset raffinato. Questo set combinato viene poi utilizzato per i metodi di fine-tuning standard.

Il principale vantaggio del nostro framework è che consente l'uso di feedback diversificato per l'addestramento. In questo modo, anche se alcuni dati sono molto simili, possiamo garantire qualità e varietà filtrando gli esempi ridondanti.

#Dataset di Fine-Tuning

Usiamo due tipi di dataset per il fine-tuning. Il primo tipo include feedback chiari dove ci sono due risposte per ogni prompt, rendendo facile sapere quale è preferita. Il secondo tipo coinvolge risposte degli utenti che vengono con punteggi. Questo tipo di dataset ci consente di esaminare varie risposte allo stesso prompt.

Per creare un dataset unificato, prendiamo i prompt e raccogliamo tutte le risposte associate. Questo richiede almeno due risposte per ogni prompt. Dopo aver filtrato per qualità e varietà, generiamo un dataset da questa raccolta.

#Selezione di Qualità e Diversità

Determiniamo la qualità degli esempi in base ai loro punteggi numerici. Per i dataset con molti punteggi, scegliere quello giusto dipende da ciò che vogliamo ottenere con il nostro fine-tuning. Ad esempio, se vogliamo ridurre le risposte dannose, potremmo concentrarci sui punteggi di tossicità.

Per garantire diversità, creiamo embeddings per ogni prompt e raggruppiamo quelli simili. Questo ci aiuta a individuare ridondanza nei dati, permettendoci di selezionare solo i migliori esempi da ogni gruppo.

#Processo di Addestramento

Per l'addestramento, partiamo dal modello pre-addestrato. Prima applichiamo il fine-tuning supervisionato usando il nostro dataset unificato, seguito dall'addestramento di un modello di ricompensa. Questo è seguito dall'apprendimento rinforzato dal feedback umano. Puntiamo a usare diverse parti del dataset mentre misuriamo quanto i nostri metodi migliorano le prestazioni.

#Setup Sperimentale e Risultati

Abbiamo testato il nostro metodo usando tre dataset: WinoGrande, OpenAssistant (OASST) e WinoGender. WinoGrande è più difficile e aiuta a capire la coreferenza nelle frasi. OASST è un dataset di conversazione che fornisce feedback numerico sulle risposte. WinoGender testa se il modello mostra bias in base al genere.

Abbiamo fatto fine-tuning dei modelli usando solo WinoGrande o una combinazione di WinoGrande e OASST. Abbiamo anche usato sottogruppi vari del dato per vedere come influisce sui risultati.

Misurando diversi tipi di feedback, abbiamo trovato che il nostro framework può portare a migliori prestazioni nella riduzione del bias mantenendo l'utilità complessiva.

#Confronto tra Metodi

Abbiamo esaminato quanto bene funziona il nostro approccio rispetto ai metodi base, inclusi i modelli pre-addestrati e quelli fine-tuned solo con WinoGrande. Abbiamo scoperto che il nostro metodo, che utilizza feedback diversificato, ha generalmente superato gli altri. I risultati hanno mostrato che l'utilizzo di un mix di dati può portare a risultati migliori nella riduzione del bias e nel miglioramento dell'accuratezza.

#Risultati Qualitativi

Oltre ai risultati numerici, abbiamo anche controllato i modelli chiedendo loro vari prompt. Abbiamo scoperto che i modelli che utilizzano il nostro framework hanno fornito risposte più pertinenti rispetto ai modelli base. Questo indica che il nostro metodo può aiutare i modelli a seguire meglio le istruzioni e rispondere in modo più appropriato.

#Conclusione

In sintesi, il nostro approccio di combinare diversi tipi di feedback per il fine-tuning può migliorare notevolmente le prestazioni oltre ciò che i dataset singoli possono offrire. Regolando la quantità di dati utilizzati, possiamo ottenere risultati simili o migliori rispetto all'utilizzo di tutti i dati disponibili. Noto che il nostro framework supporta il fine-tuning per più compiti contemporaneamente, migliorando sia la qualità delle risposte che riducendo bias indesiderati. Questo dimostra che un fine-tuning efficace degli LLMs è possibile con metodi di supervisione diversificati.

#Creazione di Dataset Eterogenei

Abbiamo anche incluso un esempio di come creare un dataset diversificato. Abbiamo raccolto vari tipi di informazioni basate sul nostro dataset principale, WinoGrande, e sul dataset secondario, OASST. Questo ha coinvolto prendere prompt e selezionare risposte in base alla loro qualità, il che ci ha permesso di arricchire il nostro dataset per l'addestramento.

#Conversione dei Tipi di Supervisione

Infine, abbiamo spiegato che il feedback può arrivare in tre forme: binaria, ordinale e numerica. Semplificando questi tipi, possiamo creare un dataset più gestibile per addestrare i modelli.

In conclusione, questo lavoro mostra un chiaro percorso avanti per il fine-tuning dei modelli di linguaggio grandi utilizzando una vasta gamma di tipi di feedback, che possono portare a miglioramenti non solo in termini di accuratezza, ma anche nel rendere i modelli più responsabili e meno di parte.