Valutare le sfide di coding per i modelli linguistici

I Grandi Modelli Linguistici (LLMS) stanno mostrando grande potenziale nel campo dell'Ingegneria del Software, soprattutto per quanto riguarda i Compiti legati alla programmazione, come scrivere e completare codice. Di solito, la valutazione di questi LLM si basa su metriche generali calcolate utilizzando Benchmark specifici. Anche se questi benchmark danno un'idea generale di come diversi LLM si comportano, non mostrano chiaramente come ogni compito di programmazione influisca sulle abilità dell’LLM.

Un aspetto cruciale è il livello di Difficoltà dei compiti in questi benchmark, che non è rappresentato accuratamente nei punteggi usati per misurare le prestazioni del modello. Ad esempio, un modello che ottiene il 90% su un set di compiti per lo più semplici può essere meno capace di un altro modello che ottiene sempre il 90% ma lavora su un set di compiti per lo più impegnativi. Per affrontare questo problema, i ricercatori hanno sviluppato un framework chiamato HardEval, progettato per valutare la difficoltà dei compiti per gli LLM e creare nuovi compiti basati su quelli identificati come difficili.

L’essenza del framework HardEval sta nel generare una vasta varietà di prompt per un singolo compito attraverso diversi LLM. Questo consente ai ricercatori di ottenere un punteggio di difficoltà per ogni compito in un benchmark. Ad esempio, utilizzando due benchmark per la generazione di codice chiamati HumanEval+ e ClassEval, il framework HardEval può individuare con affidabilità i compiti più ardui. La ricerca ha mostrato che solo il 21% dei compiti in HumanEval+ e il 27% in ClassEval erano realmente difficili per gli LLM.

Dalla loro analisi della difficoltà dei compiti, i ricercatori hanno identificato anche sei argomenti pratici per compiti difficili, che hanno usato per creare nuovi compiti impegnativi. A differenza dei metodi esistenti che misurano le prestazioni generali dei benchmark, HardEval offre una valutazione più raffinata delle capacità degli LLM. Il punteggio di difficoltà di HardEval può aiutare ricercatori e professionisti a identificare compiti difficili nei benchmark attuali e generare ulteriori compiti difficili mirati a temi specifici, migliorando potenzialmente gli LLM.

Anche se questa ricerca si concentra sui compiti di generazione di codice, il framework HardEval può essere applicato anche ad altre aree come il completamento del codice o i compiti di domande e risposte.

Gli LLM sono diventati popolari per vari compiti di programmazione nell'Ingegneria del Software. Anche se le prestazioni degli LLM nella produzione di codice per diversi linguaggi di programmazione-come Python, Java e C-sono promettenti, è importante notare che il codice generato dagli LLM può comunque avere difetti. I ricercatori hanno sottolineato che questo codice generato è spesso soggetto a bug e può avere problemi legati alla sicurezza e alla qualità.

Di solito, per valutare gli LLM nei compiti di generazione di codice e confrontare le loro prestazioni, vengono utilizzati benchmark noti come HumanEval, MBPP, CoderEval e ClassEval. Questi benchmark sono generalmente creati manulamente o estraendo dati da repository di codice pubblici, come quelli su GitHub. Tuttavia, questo approccio significa che la valutazione delle capacità di generazione di codice degli LLM è indiretta e basata su caratteristiche generali piuttosto che sulla difficoltà specifica di compiti singoli.

Un esempio dal benchmark HumanEval mette in evidenza questo problema. Il compito può essere implementare una funzione chiamata cycpattern_check, che verifica se la seconda parola o una delle sue rotazioni è una sottostringa della prima parola. Per valutare un LLM, questo prompt può essere eseguito e il suo risultato può essere confrontato con test predeterminati per verificarne la correttezza. Tuttavia, se la maggior parte dei modelli fallisce in questo compito, sorge la domanda: questo compito è davvero difficile?

Per risolvere questa incertezza, il framework HardEval scopre che questo compito, se valutato correttamente, non è particolarmente difficile. Riformulando leggermente il prompt o aggiungendo un po' di contesto, gli LLM sono stati in grado di affrontare il compito in modo efficace. Quindi, mentre il prompt originale potrebbe sembrare impegnativo, il compito sottostante non lo è.

Per guidare la loro ricerca, i ricercatori hanno delineato diverse domande chiave, che hanno aiutato a formare la base del loro studio. Il framework HardEval migliora la comprensione di come valutare e riconoscere compiti di programmazione difficili per gli LLM.

HardEval costruisce le sue valutazioni su benchmark esistenti, che contengono set di compiti rappresentati da singoli prompt. Il framework distingue tra un "compito", che rappresenta la funzione principale da implementare, e un "prompt", che è semplicemente un modo di dichiarare quel compito per l’LLM. Ad esempio, il compito potrebbe essere calcolare la sequenza di Fibonacci, mentre i prompt potrebbero variare ampiamente nel modo in cui chiedono di creare quella funzione, da descrizioni semplici a istruzioni più elaborate.

Il processo di HardEval si sviluppa in tre passaggi principali. Prima di tutto, il framework identifica trasformazioni per i prompt che mantengono l'essenza del compito variando il modo in cui è presentato. I ricercatori si sono concentrati su due tipi di trasformazioni: riformulazione e aggiunta di contesto. Utilizzando queste trasformazioni, i ricercatori generano più prompt per ogni compito.

Successivamente, questi prompt vengono inseriti in diversi LLM per generare codice. L'obiettivo qui è valutare quanto bene gli LLM si comportano con diverse formulazioni dello stesso compito. Il codice generato viene poi valutato sulla base della sua correttezza e somiglianza con campioni corretti.

Infine, una volta identificati i compiti difficili, il framework li analizza per creare nuovi compiti mirati basati su argomenti simili. Raggruppando questi compiti in gruppi che condividono elementi tematici, i ricercatori possono generare nuovi compiti di programmazione che sono probabilmente altrettanto impegnativi.

Nel primo passaggio, il framework si concentra su come produrre diversi prompt per ogni compito. L'idea è introdurre variabilità senza cambiare il significato di base. Ad esempio, semplificare o elaborare le informazioni in un prompt può portare a livelli di difficoltà variabili. I ricercatori hanno stabilito tre livelli di contesto da utilizzare nei prompt.

Il primo livello contiene solo le informazioni di base e una descrizione ad alto livello. Il secondo livello include una spiegazione più dettagliata della funzione. Il terzo livello va ancora oltre, fornendo riferimenti specifici come nomi di variabili e descrizioni di pseudo-algoritmo. Questo approccio strutturato fornisce una chiara metodologia per generare prompt che possono influire sulle prestazioni degli LLM.

Il secondo passo importante consiste nel misurare la difficoltà dei compiti. Per fare questo, i ricercatori utilizzano diversi LLM per generare codice basato sui vari prompt. Ogni campione di codice generato viene poi valutato rispetto a test predefiniti per determinarne la correttezza. Questo approccio a doppia metrica misura sia la correttezza funzionale che la somiglianza del codice generato con un campione corretto, fornendo una visione completa della difficoltà di un compito.

Analizzando il codice generato da prompt variabili, il framework cerca di stabilire un punteggio di difficoltà per ogni compito. I risultati consentono ai ricercatori di categorizzare i compiti come facili o difficili in base al livello di successo raggiunto dagli LLM.

Una volta identificati i compiti difficili, l'ultimo passaggio consiste nel generare nuovi compiti. Questo avviene attraverso il topic modeling, che raggruppa i compiti in base alle loro somiglianze. Il framework consente la creazione di nuovi compiti sia aggiungendo vincoli ai compiti difficili esistenti sia arricchendo i compiti facili con elementi dei compiti difficili.

Per validare l'efficacia del framework HardEval, i ricercatori hanno condotto studi su due benchmark ben noti: HumanEval+ e ClassEval. Questi benchmark coprono un'ampia gamma di compiti e sfide di programmazione, rendendoli adatti per valutare le prestazioni del framework.

Nei loro esperimenti, hanno generato un totale di 18 diversi prompt per ogni compito. Hanno utilizzato cinque diversi LLM per svolgere i compiti di programmazione basati su questi prompt. Ogni campione di codice generato è stato valutato utilizzando il punteggio di difficoltà stabilito, che ha permesso ai ricercatori di determinare il livello di difficoltà per ogni compito.

L'analisi ha indicato che il 63% dei compiti in HumanEval+ e il 65% in ClassEval hanno ottenuto punteggi al di sotto di una certa soglia, suggerendo che la maggior parte dei compiti è facile. Al contrario, solo il 21% dei compiti di HumanEval+ e il 27% di ClassEval sono stati classificati come difficili. Questo ha messo in evidenza l'efficacia del framework nel distinguere tra compiti di programmazione facili e difficili.

Esaminando i compiti difficili identificati da HardEval, i ricercatori hanno notato che gli LLM spesso trascurano parti importanti dei compiti a causa di istruzioni eccessive o poco chiare. Questa svista può portare a soluzioni errate. In questo scenario, la metrica di somiglianza è diventata essenziale, poiché aiuta a valutare quanto il codice errato assomigli a codici corretti. Questo dimostra ulteriormente che semplicemente valutare un singolo prompt è di solito insufficiente per determinare la difficoltà di un compito.

I ricercatori hanno anche considerato se certi tipi di compiti di programmazione fossero intrinsecamente più difficili di altri. Le sfide di programmazione che richiedono molte informazioni per descrivere operazioni e vincoli sono spesso considerate più complesse. I loro risultati hanno mostrato che i compiti che necessitano di spiegazioni dettagliate e considerazione di casi limite portano a valutazioni di difficoltà più elevate.

Nonostante si basino sul giudizio umano, sostengono che affidarsi esclusivamente a questo potrebbe non riflettere accuratamente le capacità degli LLM. Lo studio ha trovato che le valutazioni umane sui compiti di competizione di codice correlavano debolmente con i tassi di superamento dei test effettivi per gli LLM.

In conclusione, il framework HardEval rappresenta un passo significativo in avanti nella valutazione della difficoltà dei compiti di programmazione per gli LLM. Offre un nuovo modo per valutare le singole sfide di programmazione e generare compiti mirati per migliorare le prestazioni degli LLM. Il framework è adattabile, con potenziali applicazioni che si estendono oltre la generazione di codice ad altri compiti legati alla programmazione.

Per la ricerca futura, il team prevede di ampliare le applicazioni di HardEval ad altri compiti di programmazione, migliorare ulteriormente i metodi utilizzati per generare nuovi compiti e stabilire benchmark con profili di difficoltà desiderati. Questo lavoro forma la base per miglioramenti continui nell'uso degli LLM per varie attività di programmazione, offrendo la possibilità di affinare come valutiamo ed espandiamo le capacità di questi modelli.