Sfide delle API deprecate nel completamento del codice LLM

I modelli di linguaggio di grandi dimensioni (LLM) sono programmi per computer che possono creare codice basato su suggerimenti forniti. Questi modelli sono stati addestrati su un sacco di dati di codifica, rendendoli abbastanza efficaci nel suggerire completamenti di codice. Tuttavia, un grosso problema si presenta quando questi modelli utilizzano codici o funzioni obsoleti, noti come API deprecate. Man mano che le librerie o i framework che i programmatori usano evolvono, alcune funzioni e metodi diventano obsoleti e vengono sostituiti da quelli più nuovi. Questo cambiamento può ostacolare le prestazioni degli LLM, soprattutto quando suggeriscono codice vecchio che potrebbe non funzionare correttamente.

Gli aggiornamenti rapidi e i cambiamenti nelle librerie di programmazione portano a continue modifiche in ciò che è considerato codice valido o raccomandato. Quindi, è fondamentale esaminare quanto spesso questi modelli suggeriscono API deprecate e cosa causa questo comportamento. Questo rapporto si prefigge di analizzare i dettagli di questa questione e offrire modi per migliorare la situazione negli ambienti di codifica.

#Il Problema con le API Deprecate

Quando si sviluppa software, i programmatori spesso si affidano a librerie di terze parti, che sono raccolte di codice pre-scritto che forniscono funzioni utili. Ogni libreria ha un set di regole, chiamate Interfacce di Programmazione delle Applicazioni (API), che guidano su come interagire con esse. Nel tempo, le librerie subiscono aggiornamenti in cui le vecchie funzioni possono diventare deprecate. Una funzione deprecata è quella che non è più raccomandata per l'uso e potrebbe essere rimossa in futuri aggiornamenti.

Ad esempio, in una libreria popolare per il deep learning chiamata PyTorch, una funzione è stata rimossa e sostituita da un'altra. Man mano che le librerie migliorano, potrebbero sostituire le funzioni più vecchie con quelle più nuove che funzionano meglio o offrono nuove funzionalità. Usare API deprecate può causare problemi nel codice poiché potrebbero non funzionare bene con i design o i dati più recenti, portando a potenziali bug nei progetti software.

Nonostante l'uso crescente degli LLM nella codifica, la ricerca su quanto spesso questi modelli utilizzano le API deprecate è limitata. Studi precedenti si sono concentrati principalmente sull'accuratezza generale di questi modelli ma non hanno valutato specificamente quanto bene evitano il codice obsoleto quando suggeriscono completamenti.

#Obiettivi della Ricerca

L'obiettivo principale di questo studio è investigare la frequenza e le ragioni dietro l'uso delle API deprecate negli LLM quando effettuano completamenti di codice. Per raggiungere questo scopo, abbiamo delineato diverse domande di ricerca:

1. Qual è lo stato attuale dell'uso delle API deprecate nel completamento di codice basato su LLM?
2. Quale ruolo giocano i diversi tipi di suggerimenti nelle previsioni fatte dagli LLM riguardo le API deprecate?
3. Come influisce la scelta delle librerie sull'uso delle API deprecate da parte degli LLM?

Rispondendo a queste domande, speriamo di comprendere meglio le ragioni per l'uso delle API deprecate e di esplorare soluzioni per migliorare le prestazioni degli LLM nella Generazione di codice.

#Metodologia

Per approfondire questa questione, abbiamo condotto uno studio approfondito utilizzando diversi LLM e librerie di codifica campione. Ci siamo concentrati su otto Librerie Python popolari che sono ampiamente usate nella comunità di programmazione, inclusi framework sia di manipolazione dei dati che di machine learning. Questo ci ha dato un set diversificato di API da analizzare.

#Raccolta dei Dati

Abbiamo raccolto dati su un totale di 145 API deprecate e le loro sostituzioni dalle librerie scelte. Questo ha comportato la revisione della documentazione ufficiale e dei registri degli aggiornamenti di ciascuna libreria per identificare quali API erano deprecate e quali erano le loro sostituzioni. In totale, abbiamo raccolto 9.022 istanze di uso di API deprecate e 19.103 istanze delle loro sostituzioni.

#Sperimentazione

Per valutare quanto bene gli LLM gestiscano i suggerimenti di API deprecate, abbiamo creato suggerimenti specifici. Ogni suggerimento è stato costruito attorno a funzioni che utilizzavano API deprecate o le loro sostituzioni. Abbiamo poi alimentato questi suggerimenti a sette LLM avanzati per vedere come rispondevano.

Ad esempio, se un suggerimento conteneva una funzione deprecata, controllavamo se il modello suggeriva quella funzione o la sua sostituzione. La nostra analisi ci avrebbe aiutato a capire la capacità dei modelli di evitare suggerimenti obsoleti e se le loro prestazioni cambiavano in base ai suggerimenti o alle librerie utilizzate.

#Valutazione dei Risultati

Una volta raccolti i dati, li abbiamo valutati in diversi modi:

#Prestazione del Modello

Abbiamo scoperto che tutti gli LLM che abbiamo testato avevano difficoltà a prevedere l'uso delle API corrette. In generale, i modelli performavano meglio nel prevedere funzioni più nuove rispetto a quelle obsolete. Questo indica che, sebbene gli LLM possano essere utili per i completamenti di codice, spesso vengono ingannati dalla presenza di API deprecate nei loro dati di addestramento.

#Influenza del Suggerimento

Il tipo di suggerimenti che abbiamo fornito agli LLM ha influenzato significativamente le loro prestazioni. Per i suggerimenti che si riferivano a funzioni che utilizzavano API deprecate, i modelli tendevano a suggerire quelle funzioni obsolete piuttosto che le loro sostituzioni. D'altra parte, i suggerimenti derivati da funzioni che utilizzavano API aggiornate mostrano una maggiore probabilità che i modelli suggerissero le corrette API più nuove. Questo suggerisce che il contesto dei suggerimenti è cruciale per guidare le proposte dei modelli.

#Variazione della Libreria

Diverse librerie avevano influenze varie su come gli LLM suggerivano le API. Alcune librerie avevano transizioni più chiare da API vecchie a nuove, mentre altre causavano confusione. Questo era particolarmente evidente in librerie che cambiavano leggermente le loro API senza alterare i loro schemi di utilizzo. In tali casi, i modelli a volte suggerivano le API deprecate semplicemente perché non riuscivano a distinguere tra le versioni vecchie e nuove.

#Soluzioni Proposte

Per affrontare il problema dell'uso delle API deprecate, abbiamo proposto due semplici strategie per aiutare gli LLM a fornire migliori completamenti di codice. Queste strategie mirano a risolvere le sfide discusse sopra migliorando il modo in cui i modelli elaborano la conoscenza delle API deprecate.

#Approccio ReplaceAPI

La prima soluzione, chiamata ReplaceAPI, funziona sostituendo direttamente qualsiasi istanza di un'API deprecata nel codice suggerito. Quando il modello prevede una funzione deprecata, questo approccio la sostituisce con la sua sostituzione e genera il resto del codice basato su quel cambiamento. Questo metodo semplice può aiutare a garantire che vengano proposte solo API aggiornate.

#Approccio InsertPrompt

Il secondo approccio, InsertPrompt, prevede l'aggiunta di un suggerimento extra che istruisce il modello a utilizzare l'API più nuova mentre genera il codice. Aggiungendo questa istruzione aggiuntiva direttamente nel suggerimento, il modello viene guidato a favorire la funzione corretta rispetto a quelle deprecate. Questo metodo si concentra sul perfezionamento del contesto in cui il modello fa le sue previsioni.

#Valutazione delle Soluzioni

Abbiamo condotto test per vedere quanto bene le nostre strategie proposte affrontassero il problema dell'uso delle API deprecate. La prestazione di ciascun approccio è stata misurata utilizzando diversi metriche:

1. Tasso di Correzione (FR): La percentuale di completamenti che ha utilizzato con successo le API corrette dopo aver applicato le nostre strategie.
2. Somiglianza delle Modifiche (ES): Quanto si avvicinavano i suggerimenti al codice corretto basato sulle modifiche necessarie.
3. Corrispondenza Esatta (EM): La percentuale di completamenti che corrispondevano esattamente al codice corretto.

#Risultati da ReplaceAPI

La nostra strategia ReplaceAPI ha prodotto risultati promettenti. Tutti gli LLM hanno raggiunto alti tassi di correzione, superando spesso l'85%. Questo significa che i modelli sono stati in grado di correggere un numero sostanziale delle loro stesse proposte deprecate quando sollecitati a farlo. Le modifiche suggerite erano anche abbastanza accurate, dimostrando la capacità di mantenere la qualità del codice mentre correggevano i riferimenti alle API obsolete.

#Risultati da InsertPrompt

L'approccio InsertPrompt ha mostrato più variabilità nelle prestazioni. Mentre alcuni modelli hanno funzionato bene, altri hanno faticato a interpretare efficacemente il suggerimento inserito. I modelli che hanno performato meglio, in particolare quelli più grandi, hanno mostrato una forte capacità di adattare le loro risposte in base alle istruzioni aggiuntive. Nonostante ciò, non tutti i modelli sono stati in grado di utilizzare correttamente le nuove API in modo costante, evidenziando la necessità di ulteriori miglioramenti nell'ingegneria dei suggerimenti.

#Conclusione

Questo studio di valutazione mette in luce le sfide che gli LLM affrontano quando suggeriscono completamenti di codice, in particolare riguardo all'uso delle API deprecate. Le nostre scoperte indicano che questi modelli spesso utilizzano funzioni obsolete a causa del loro addestramento su dati di codifica più vecchi e del contesto fornito da specifici suggerimenti.

Comprendendo le cause di questo problema, possiamo lavorare per sviluppare strumenti di generazione di codice migliori. Le nostre strategie proposte, ReplaceAPI e InsertPrompt, hanno mostrato potenziale nel guidare gli LLM a suggerire API più aggiornate. I prossimi passi prevedono un ulteriore affinamento di questi approcci e l'esplorazione di metodi aggiuntivi per creare strumenti di codifica più affidabili.

Man mano che la programmazione continua a evolversi, garantire che i suggerimenti di codice rimangano pertinenti e funzionali sarà cruciale per gli sviluppatori. Affrontando proattivamente il problema delle API deprecate, possiamo migliorare l'affidabilità del completamento di codice guidato da LLM e contribuire a pratiche di sviluppo software più efficienti.