Sfide nell'uso dei LMs di codice per la rilevazione delle vulnerabilità

Negli ultimi anni, c'è stato un crescente interesse nell'usare modelli di linguaggio di codice (code LMs) per scoprire Vulnerabilità nel codice software. I code LMs sono programmi avanzati addestrati per capire e generare codice, e i ricercatori credono possano aiutare a identificare problemi di sicurezza nel software in modo più efficace. Tuttavia, gli strumenti e i metodi attualmente disponibili per questo compito hanno alcune serie limitazioni. Questo articolo parla dei principali problemi con i metodi esistenti e propone un nuovo approccio per migliorare come rileviamo le vulnerabilità nel codice.

#L'importanza di trovare vulnerabilità

Le vulnerabilità software possono portare a gravi problemi di sicurezza, rendendo essenziale identificarle prima che possano essere sfruttate. Con il software che diventa sempre più complesso, i metodi tradizionali per trovare vulnerabilità non bastano. I code LMs possono automatizzare alcuni di questi compiti, potenzialmente accelerando il processo e migliorando l'accuratezza nel rilevamento delle vulnerabilità.

#Problemi con i dataset esistenti

Una delle principali sfide nell'usare i code LMs per il rilevamento delle vulnerabilità è la Qualità dei Dati su cui sono addestrati. I dataset attuali usati per l'addestramento spesso presentano difetti significativi:

#Bassa qualità dei dati

Molti dataset esistenti soffrono di bassa qualità a causa di etichette imprecise e alti tassi di duplicazione. Fondamentalmente, se i dati usati per addestrare un modello sono difettosi, anche le previsioni del modello saranno probabilmente inaffidabili. Ad esempio, i dataset etichettati automaticamente possono classificare erroneamente codice benigno come vulnerabile o perdere completamente le vere vulnerabilità.

#Bassa accuratezza delle etichette

L'accuratezza delle etichette si riferisce a quanto correttamente il codice nel dataset è identificato come vulnerabile o benigno. Studi mostrano che molti dataset hanno tassi di accuratezza delle etichette solo dal 25% al 60%. Questo significa che c'è una quantità considerevole di informazioni errate in questi dataset, che influisce direttamente su quanto bene i code LMs possono rilevare le vulnerabilità in scenari reali.

#Alti tassi di duplicazione

La duplicazione nei dataset si verifica quando i stessi pezzi di codice vengono ripetuti. Questo può portare a una sensazione fuorviante di efficacia quando si valuta la performance di un modello, poiché potrebbe apparire che funzioni bene semplicemente perché ha già "visto" gli stessi problemi. In alcuni casi, fino al 18,9% dei campioni di test sono risultati duplicati di campioni di addestramento, compromettendo il processo di valutazione.

#Problemi con i Metodi di Valutazione

I metodi usati per valutare quanto bene i code LMs rilevano le vulnerabilità hanno anche delle carenze. Molti studi si concentrano solo sull'accuratezza o sui punteggi F1, ma queste metriche non forniscono un quadro completo della capacità di un modello in situazioni reali. Ad esempio, un modello potrebbe ottenere un'alta accuratezza prevedendo che la maggior parte dei casi non sia vulnerabile, poiché le vulnerabilità sono relativamente rare in pratica. Questo non significa che lo strumento sia effettivamente efficace nel rilevare vere vulnerabilità.

#Necessità di migliori tecniche di etichettatura

Per affrontare questi problemi, gli sviluppatori hanno bisogno di migliori tecniche di etichettatura che possano riflettere accuratamente lo stato reale delle vulnerabilità del codice. Le attuali tecniche di etichettatura automatica si basano troppo su assunzioni errate, portando a ulteriori imprecisioni nei dati etichettati. Una possibile soluzione è l'etichettatura manuale, che, sebbene più accurata, è laboriosa e non scalabile per dataset più grandi.

#Introduzione di un nuovo dataset

Per combattere i difetti dei dataset esistenti, è stato proposto un nuovo dataset. Questo nuovo dataset mira a fornire dati etichettati di alta qualità per l'addestramento dei code LMs. Incorpora tecniche di etichettatura migliorate che si concentrano sulla verifica da parte umana, assicurando che le vulnerabilità etichettate siano il più accurate possibile.

#Tecniche di etichettatura migliorate

Sono stati introdotti due nuovi metodi di etichettatura: OneFunc e NVDCheck. Questi metodi mirano a etichettare le funzioni in modo accurato basandosi sull'analisi degli esperti e sui riferimenti trovati nel National Vulnerability Database (NVD). L'obiettivo è ridurre il rumore delle etichette e migliorare la qualità complessiva del dataset.

#Raccolta dati completa

Il nuovo dataset ha anche preso misure per unire dati da varie fonti mentre rimuove accuratamente i duplicati. In questo modo, assicura che ogni funzione venga considerata solo una volta, offrendo un insieme di dati di addestramento e test più realistico.

#Nuove linee guida di valutazione

Con un nuovo dataset in atto, è cruciale stabilire linee guida di valutazione che riflettano meglio le performance nel mondo reale. L'obiettivo è fornire un framework che non solo misuri quanto bene i modelli riescono su un dato dataset, ma anche valuta la loro efficacia quando applicati a nuovi dati mai visti.

#Divisione cronologica dei dati

Uno dei miglioramenti chiave nei metodi di valutazione è la divisione cronologica dei dati. Questo processo prevede di suddividere il dataset in base a quando il codice è stato inviato, permettendo ai modelli di essere addestrati su dati più vecchi e testati su codice più recente. Questo approccio mimica più da vicino le condizioni del mondo reale.

#Introduzione di una nuova metrica

È stata introdotta una nuova metrica di performance, chiamata Vulnerability Detection Score (VD-S). Questo punteggio si concentra sul misurare quanto bene i modelli possono identificare vere vulnerabilità mantenendo un tasso di falsi positivi gestibile. L'idea è assicurarsi che i modelli non siano solo efficaci nel trovare vulnerabilità, ma lo facciano senza sopraffare gli sviluppatori con falsi allarmi.

#Approccio di valutazione a coppie

È stato implementato anche un metodo di valutazione a coppie per esaminare quanto bene i modelli possono distinguere tra campioni di codice vulnerabili e benigni. Confrontando coppie di funzioni simili, i ricercatori possono valutare meglio la comprensione delle vulnerabilità da parte di un modello piuttosto che solo la sua capacità di riconoscere schemi testuali.

#Valutazione dei code LMs

Il nuovo dataset e le linee guida di valutazione sono stati utilizzati per valutare vari code LMs esistenti. I risultati hanno evidenziato un significativo divario tra le performance di questi modelli e le esigenze reali per il rilevamento delle vulnerabilità.

#Discrepanza nelle performance

Molti code LMs hanno mostrato scarse performance sul nuovo dataset rispetto alle valutazioni precedenti, rivelando che i risultati di benchmark precedenti erano eccessivamente ottimistici. Ad esempio, il modello all'avanguardia, StarCoder2, che in precedenza aveva mostrato un alto punteggio F1 su un altro dataset, ha performato male sul nuovo dataset.

#Tentativi di migliorare le performance

Per comprendere meglio come migliorare i code LMs, i ricercatori hanno esplorato tecniche di addestramento avanzate, tra cui il class weighting e il contrastive learning. Tuttavia, questi sforzi non hanno portato a guadagni significativi nella performance.

#Class Weighting

L'introduzione dei pesi delle classi mirava ad aiutare i modelli a gestire meglio il disequilibrio tra campioni vulnerabili e benigni. Sebbene questa tecnica abbia mostrato alcuni miglioramenti, non è stata sufficiente a colmare il divario nelle performance.

#Contrastive Learning

Anche il contrastive learning è stato testato come metodo per migliorare le performance del modello. Questa tecnica incoraggia i modelli a differenziare campioni dissimili. Eppure, anche con questo approccio, i problemi sottostanti con le capacità dei modelli sono rimasti.

#Esplorando modelli più grandi

I ricercatori hanno rivolto la loro attenzione a modelli di linguaggio più grandi, come GPT-3.5 e GPT-4, per vedere se la loro maggiore complessità avrebbe portato a miglior performance nel rilevare vulnerabilità. Anche se questi modelli hanno superato quelli più piccoli, continuano a lottare per fare previsioni accurate.

#Conclusione

Lo studio dei code LMs per il rilevamento delle vulnerabilità rivela che i modelli attuali sono carenti nelle applicazioni del mondo reale. Nonostante vari tentativi di migliorare le loro performance attraverso dataset più affidabili e metodologie avanzate, questi modelli non hanno ancora raggiunto un livello di efficacia necessario per un impiego pratico.

#Direzioni future

C'è bisogno di continuare la ricerca per sviluppare approcci fondamentalmente nuovi per addestrare i code LMs e valutare la loro efficacia. L'enfasi dovrebbe essere posta non solo sul migliorare i metodi esistenti, ma anche sull'esplorare tecniche innovative che migliorino realmente la capacità di questi modelli di comprendere e rilevare vulnerabilità software.