Allineare gli LLM aperti con la valutazione umana

La Valutazione automatica usando modelli linguistici di grandi dimensioni (LLM) è un argomento caldo oggi. Però, valutare i compiti può essere soggettivo e influenzato da vari fattori, rendendo difficile adattarsi. Molti studi mostrano che i migliori LLM proprietari se la cavano bene rispetto ai valutatori umani, ma spesso hanno problemi ad adattarsi alle preferenze nel tempo. Questo aggiustamento è necessario per una valutazione personalizzata.

Sono stati fatti molti tentativi per usare LLM aperti come valutatori, ma molti di questi trascurano il problema di lavorare con dati limitati. Il giudizio personalizzato spesso deriva da situazioni con pochi punti dati, che è comune nella vita reale.

Questo documento propone un metodo di Aumento dei Dati per scegliere un campione più efficace da dati limitati per allineare un LLM aperto con le preferenze umane. I risultati mostrano circa un miglioramento del 7% nella correlazione di Pearson con un giudice di riferimento rispetto alla baseline e un miglioramento del 30% rispetto al modello base nel ragionamento matematico.

Il processo di valutazione umana è soggettivo e può variare molto a seconda dell'umore del valutatore. Ad esempio, la valutazione dei compiti degli studenti può cambiare da un semestre all'altro, riflettendo l'umore o la situazione dell'insegnante. Questa variabilità deve essere considerata quando si cerca di modellare o imitare il comportamento di un valutatore.

Le valutazioni automatiche affrontano spesso delle limitazioni a causa della scarsa quantità di Feedback tipicamente disponibile. Questo rende importante cercare metodi di formazione efficaci per le valutazioni in situazioni di dati limitati.

Questo lavoro mostra un modo per allineare un LLM aperto con un valutatore di riferimento in un contesto di scarsità di dati, concentrandosi sul giudizio personalizzato in compiti come la matematica e le domande generali.

La valutazione basata su LLM è diventata un modo scalabile ed economico per valutare sia i testi generati dalle macchine che quelli generati dagli esseri umani. Gli LLM forniscono feedback con un punteggio, che indica la qualità.

Studi precedenti che hanno usato LLM proprietari come valutatori hanno mostrato alta correlazione con i giudizi umani, migliorando la velocità e l'efficacia dei costi. Questi modelli tendono a funzionare bene nel giudizio statico, dove il punteggio si basa su criteri fissi. Tuttavia, personalizzare questi modelli per le preferenze specifiche dei valutatori è una sfida e spesso mancano di giudizio dinamico.

Il giudizio dinamico significa la capacità di un valutatore di imparare da pochi campioni e adattare le politiche di valutazione nel tempo, cosa cruciale per la valutazione personalizzata. Questo lavoro presenta un modo efficace per allineare un LLM aperto con un valutatore di riferimento in un contesto di dati limitati.

L'obiettivo è quello di adattare il giudizio dell'LLM per allinearlo a quello del giudice umano. Il metodo proposto mostra circa il 9% e il 7% di correlazione di Pearson più alta per le valutazioni di matematica e domande generali, rispettivamente. Questo dimostra che selezionare dati più efficaci aiuta l'approccio a superare i metodi di base.

#Contributi

1. Proposto un metodo per semplificare il giudizio dinamico per LLM aperti, un problema che non è stato affrontato completamente prima.
2. Introdotta una tecnica per aumentare i dati mirata a migliorare la capacità di ragionamento del modello di giudice usando il metodo chain of thought (CoT).
3. Introdotto un metodo per selezionare istanze efficaci dai giudizi di riferimento, concentrandosi sulla riduzione del bias nel modello allineato.

#Lavori Correlati

#Creazione di Dati Naive

Vengono usati metodi diversi per la creazione di dati sulle preferenze. L'approccio di creazione dati naive utilizza feedback diretto da un giudice di riferimento.

#LLM come Giudice

Usare LLM come giudici ha guadagnato attenzione per la loro capacità di imitare l'accuratezza della valutazione umana. Molti usano modelli proprietari come GPT-4, che hanno dimostrato una forte concordanza con le valutazioni umane.

#Allineamento con le Preferenze Umane

Gli LLM sono bravi a generare testi ma faticano con il seguire istruzioni e allinearsi con le aspettative umane. Il Fine-Tuning Supervisionato (SFT) è diventato un metodo chiave per questo allineamento. Sono emersi diversi metodi basati sul reinforcement learning dal feedback umano (RLHF).

#Allineamento Efficiente dei Dati

Le dimensioni e la qualità dei dati hanno un grande impatto sul tempo e costo di addestramento degli LLM. L'uso efficiente dei dati può ridurre le iterazioni di addestramento. Alcuni studi si concentrano sul miglioramento della qualità dei dati filtrando quelli di bassa qualità.

#Giudizio Efficiente sui Dati

Questa sezione presenta un approccio per allineare un LLM con un giudice di riferimento. Sebbene il focus sia sui testi generati dalle macchine, potrebbe essere esteso anche ai testi umani.

#Cura e Aumento dei Dati

I compiti di valutazione richiedono forti capacità di ragionamento per garantire decisioni eque e accurate. Tuttavia, studi hanno dimostrato che LLM come Llama-3.1-8B-Instruct non sono molto efficaci come valutatori.

#Semenza per il Dataset di Preferenze

Partendo da un dataset di domande e risposte, vengono raccolti feedback e punteggi da un giudice di riferimento. Questo dataset semenza mira a migliorare le prestazioni di giudizio dell'LLM.

#Approccio di Creazione Dati Naive

In questo metodo, l'LLM di base genera feedback e punteggi per le risposte. Si presume che il feedback generato sia di qualità inferiore rispetto a quello del giudice di riferimento.

#Approccio al Pool di Feedback

Vengono generati più coppie di feedback e punteggi per ogni risposta usando l'LLM di base, che sfrutta le sue capacità di ragionamento. Questo permette all'LLM di produrre feedback migliori.

#Approccio al Campionamento Efficiente

Questo metodo seleziona campioni più efficaci dal giudice di riferimento. Invece di usare tutto il feedback, si sceglie un sottoinsieme basato sulla somiglianza.

#Impostazione dell'Esperimento

Descrive la dimensione dei dati creati e dei dataset di allineamento estratti dai dataset di feedback. I risultati mostrano un miglioramento dell'allineamento con il giudice di riferimento.

#Impostazione della Valutazione

L'impostazione sperimentale per valutare i LM valutatori prevede l'uso di Pearson, Spearman e Kendall-Tau per le metriche di performance rispetto al valutatore di riferimento. I risultati sono confrontati tra tre metodi, evidenziando l'importanza della strategia di campionamento dei dati scelta.

#Risultati

Le scoperte mostrano che l'approccio proposto porta a miglioramenti significativi nell'allineamento con i valutatori umani. Tuttavia, lo studio è limitato dalla disponibilità dei dati e si concentra su compiti specifici, il che potrebbe influenzare la sua applicabilità più ampia.

#Conclusione

Sebbene gli LLM abbiano potenziale per la valutazione automatica, personalizzarli per compiti soggettivi in situazioni di dati limitati rimane una sfida. I metodi proposti mostrano miglioramenti significativi e potenziale per un migliore allineamento degli LLM con le valutazioni umane. Il lavoro futuro potrebbe concentrarsi sull'espansione della gamma di compiti e sull'aumento della diversità dei dati per una maggiore generalizzabilità.