Nuovo sistema per individuare le correzioni delle vulnerabilità

Le vulnerabilità nel software open-source possono mettere a rischio gli utenti se non vengono risolte in fretta. Tradizionalmente, gli sviluppatori seguono un processo chiamato Coordinated Vulnerability Disclosure (CVD). Questo significa che risolvono i problemi prima di condividere i dettagli pubblicamente. Anche se questo serve a proteggere gli utenti, crea anche un gap. In quel lasso di tempo, gli attaccanti potrebbero approfittare del software non aggiornato. Quindi, rilevare queste correzioni silenziose il prima possibile è fondamentale.

I metodi attuali per trovare queste correzioni si basano principalmente sull'analisi delle modifiche nel codice nelle cronologie dei commit. Tuttavia, spesso combinano codice aggiunto e rimosso in modi che trascurano distinzioni importanti. Per esempio, non considerano il Contesto attorno alle modifiche del codice, che può fornire indizi aggiuntivi su cosa è stato alterato. Inoltre, molti modelli usati in questo campo richiedono processi di addestramento separati, il che può ridurre l'efficacia e la velocità complessive.

Per affrontare questi problemi, proponiamo un nuovo framework. Questo approccio leggero ma potente utilizza modelli separati per comprendere le modifiche al codice prima e dopo una correzione, compreso il contesto circostante. Prendendo la differenza di queste rappresentazioni, possiamo catturare cambiamenti sottili che sono cruciali per identificare le correzioni delle vulnerabilità. L'Addestramento congiunto dei modelli di embedding e classificazione porta a migliori performance.

#La Necessità di Rilevare Correzioni di Vulnerabilità

Il software open-source è ampiamente usato da molti sviluppatori, rendendo essenziale gestire le vulnerabilità in modo efficace. La rilevazione e la risoluzione tempestive sono necessarie per prevenire potenziali rischi di sicurezza. Se le correzioni delle vulnerabilità sono ritardate, gli attaccanti possono sfruttare queste debolezze, portando a conseguenze gravi come le violazioni dei dati.

Il CVD aiuta a gestire il rischio di esporre i dettagli delle vulnerabilità risolvendo i problemi prima della divulgazione pubblica. Si consigliano correzioni silenziose, dove i messaggi di commit non includono informazioni esplicite sulle vulnerabilità. Tuttavia, per vari motivi, il tempismo delle divulgazioni pubbliche può variare, lasciando una finestra di opportunità per gli attori malevoli di trovare e sfruttare queste vulnerabilità prima che gli utenti se ne accorgano.

Con la trasparenza del software open-source, gli attaccanti possono analizzare il gap temporale tra la risoluzione delle vulnerabilità e la divulgazione pubblica per sfruttare il software prima che gli sviluppatori possano informare gli utenti. Studi hanno dimostrato che le vulnerabilità non risolte sono responsabili di una percentuale significativa di violazioni dei dati.

Per contrastare questi rischi, c'è un bisogno urgente di tecniche migliori per identificare precocemente le correzioni silenziose delle vulnerabilità. I metodi attuali coinvolgono solitamente due fasi principali: prima, addestrare modelli per rappresentare le modifiche del codice a diversi livelli, e poi, usare queste rappresentazioni per prevedere se un commit mira a correggere una vulnerabilità.

#Limitazioni degli Approcci Esistenti

Molti metodi esistenti hanno delle lacune in diversi ambiti:

1. Rappresentazione Inefficiente: Rappresentano spesso le modifiche del codice semplicemente come sequenze combinate di codice aggiunto e rimosso. Questo metodo non cattura efficacemente le differenze importanti.

2. Mancanza di Contesto: La maggior parte degli approcci non considera il codice circostante come contesto, che può essere cruciale per capire lo scopo delle modifiche. Il codice circostante può contenere informazioni chiave per dedurre la semantica delle modifiche.

3. Processi di Addestramento Complessi: Molti metodi richiedono addestramenti separati per più modelli o fasi. Questo può complicare il processo di apprendimento e ridurre l'efficacia complessiva.

Per affrontare questi problemi, proponiamo un framework semplice ma efficace che migliora l'apprendimento delle modifiche al codice. Il nostro approccio sfrutta modelli indipendenti per incorporare il codice attorno alle modifiche, riflettendo così le differenze in modo più accurato.

#Framework Proposto per la Rilevazione

Il nostro nuovo framework migliora l'identificazione delle correzioni delle vulnerabilità potenziando il modo in cui apprendiamo dalle modifiche al codice. Ecco come funziona:

1. Uso del Contesto Circostante: Utilizziamo due modelli indipendenti per catturare il codice prima e dopo le modifiche. Ogni modello considera il codice circostante come contesto, consentendo una comprensione più sfumata.

2. Sottrazione Elemento per Elemento: Prendendo la differenza elemento per elemento tra le due rappresentazioni del codice, possiamo evidenziare cambiamenti sottili. Questo processo è ispirato ai modelli di relazione tra parole e ci consente di catturare l'essenza delle modifiche direttamente.

3. Addestramento Congiunto: Invece di addestrare i modelli di embedding separatamente dai modelli di classificazione, il nostro framework permette di addestrarli insieme. Questo porta a un processo di apprendimento più ottimizzato e coerente.

#Valutazione Sperimentale

Abbiamo testato il nostro framework su un dataset specifico composto da correzioni di vulnerabilità in Java provenienti da vari progetti open-source fino all'inizio del 2021. I nostri esperimenti miravano a valutare quanto bene il nostro framework può identificare le correzioni silenziose delle vulnerabilità in confronto ai metodi attuali all'avanguardia.

#Dataset e Metodologia

Il nostro dataset include migliaia di commit, categorizzati in quelli che risolvono vulnerabilità e quelli che non lo fanno. Abbiamo assicurato che il nostro set di test fosse distinto dai set di addestramento e validazione per evitare bias. Il dataset include anche varie metriche che possiamo utilizzare per valutare le performance.

#Metriche di Valutazione

Per misurare l'efficacia del nostro approccio, abbiamo analizzato due aspetti: performance di classificazione e consapevolezza dello sforzo. Abbiamo utilizzato metriche come F1 score, precisione e richiamo per valutare la performance di classificazione. Per la consapevolezza dello sforzo, abbiamo usato CostEffort@L, che indica quanto efficientemente il nostro metodo identifica le correzioni delle vulnerabilità in relazione alla quantità di codice revisionato.

#Risultati

Il nostro framework ha superato i metodi esistenti su tutte le metriche. Ha raggiunto un F1 score di 0.33 e ha notevolmente migliorato la precisione, dimostrando la capacità di ridurre i falsi positivi. I risultati mostrano che il nostro approccio non solo migliora l'accuratezza nell'identificare le correzioni delle vulnerabilità, ma lo fa anche in modo efficiente.

#Importanza della Rappresentazione

Abbiamo anche condotto un'analisi di ablation per capire quanto fossero essenziali i nostri metodi nel catturare piccole modifiche al codice. I risultati hanno confermato che l'uso di modelli indipendenti e la sottrazione elemento per elemento erano cruciali per il successo.

Oltre a valutare il dataset iniziale, abbiamo ampliato la nostra ricerca per analizzare le performance del framework in scenari reali. Aggiornando il dataset per includere dati più recenti, abbiamo garantito che il nostro framework sia rilevante per le sfide attuali nel panorama dello sviluppo software.

#Applicazione nel Mondo Reale

Abbiamo scoperto che il nostro metodo funziona bene nell'identificare correzioni silenziose in situazioni reali. La capacità di trovare con precisione le vulnerabilità riducendo significativamente lo sforzo di ispezione manuale è fondamentale per sviluppatori ed esperti di sicurezza.

Come punto di riferimento, il nostro approccio è riuscito a rilevare correzioni silenziose per vulnerabilità che altri metodi non erano riusciti a identificare. Ad esempio, abbiamo segnalato con successo una correzione silenziosa per una vulnerabilità significativa che è stata successivamente rivelata pubblicamente, sottolineando l'utilità pratica del nostro metodo.

#Conclusione

In sintesi, il nostro framework proposto offre una soluzione robusta per rilevare correzioni silenziose delle vulnerabilità nel software open-source. Migliorando la rappresentazione delle modifiche al codice e consentendo un addestramento unificato dei modelli, abbiamo raggiunto significativi miglioramenti rispetto ai metodi esistenti. Con risultati promettenti sia in contesti controllati che in applicazioni nel mondo reale, il nostro approccio pone una solida base per future ricerche e sviluppi di strumenti nel campo della sicurezza software.