Valutare il ruolo di ChatGPT nella revisione del codice di sicurezza in Python

Negli ultimi tempi, l'intelligenza artificiale (AI) è diventata sempre più importante in tanti aspetti della vita. Uno di questi è il controllo del codice per problemi di sicurezza, conosciuto come security code review. La gente sta cominciando a cercare strumenti AI per aiutare a trovare problemi nel codice, e uno strumento che ha attirato molta attenzione è ChatGPT. ChatGPT è noto per la sua abilità nel seguire istruzioni e fornire risposte dettagliate. Questo documento esplora se ChatGPT può essere utilizzato per trovare problemi di sicurezza nel codice Python.

Con l'avvento della tecnologia, la quantità di codice scritto è aumentata. Ad esempio, il numero di progetti su GitHub è raddoppiato in pochi anni, passando da 100 milioni nel 2018 a 200 milioni nel 2022. Questo aumento di codice significa che ci sono più possibilità di problemi di sicurezza. Gli studi mostrano che il numero di Vulnerabilità nel software è anche in aumento, evidenziando l'importanza di trovare e risolvere questi problemi. Le vulnerabilità sono debolezze che possono essere sfruttate, portando a perdite di dati o addirittura interruzioni del servizio.

Per trovare vulnerabilità nel codice, molti strumenti utilizzano un metodo chiamato analisi statica del codice sorgente. Questo metodo esamina il codice senza eseguirlo realmente, permettendo ai tester di trovare problemi di sicurezza in modo efficiente. Strumenti comuni per questo scopo includono Bandit, Semgrep e SonarQube. Anche se questi strumenti sono utili, hanno alcune limitazioni, come generare molti falsi positivi (allerta errate) e falsi negativi (perdita di problemi reali). Quando gli strumenti producono troppi falsi allarmi, può richiedere molto tempo e impegno controllare tutto. D'altro canto, perdere problemi reali può avere conseguenze gravi.

Negli ultimi anni, il machine learning e il deep learning hanno fatto grandi passi in molti campi, compresa la comprensione del linguaggio umano. Poiché il codice è simile al linguaggio naturale, i ricercatori sono interessati ad utilizzare metodi di deep learning per compiti legati alla ricerca di vulnerabilità nel codice. I modelli di machine learning possono apprendere dai dati e identificare schemi che potrebbero indicare problemi di sicurezza. Alcuni studi suggeriscono che questi modelli possono produrre meno falsi positivi rispetto agli strumenti tradizionali. Alcune ricerche hanno dimostrato che i modelli di deep learning superano diversi strumenti open-source esistenti nel trovare problemi nel codice C/C++.

Ora, ChatGPT, che si basa su AI e utilizza il processamento del linguaggio naturale, ha attirato attenzione per il suo potenziale nel business e in altri ambiti. Può automatizzare compiti che di solito richiedono sforzi umani, risparmiando tempo e risorse. Il modello è stato addestrato su un ampio dataset fino al 2021, il che lo equipaggia con conoscenze su vari schemi, incluso quelli trovati nel codice. Questo documento valuta quanto bene ChatGPT riesca a identificare vulnerabilità di sicurezza nel codice Python rispetto a strumenti di sicurezza popolari come Bandit, Semgrep e SonarQube.

Python è diventato uno dei linguaggi di programmazione più popolari, spesso classificato tra i primi tre secondo diversi sondaggi. È ampiamente usato in molti ambiti, non solo nel machine learning e nella data science, ma anche nello sviluppo web con framework come Django e Flask. A causa della sua popolarità, è fondamentale garantire la sicurezza delle applicazioni Python.

Questo documento è organizzato in diverse sezioni. La prima sezione offre una breve revisione degli studi precedenti in questo campo. La sezione successiva discute i dataset utilizzati per i test. Dopo, spieghiamo i dettagli degli esperimenti svolti con ChatGPT. Proseguendo, presentiamo la valutazione dei risultati ottenuti. Infine, c'è una discussione sui fattori che potrebbero influenzare la validità dei risultati, seguita da una conclusione.

#Ricerche Precedenti

In passato, molti studi si sono concentrati sulla ricerca di vulnerabilità utilizzando diversi modelli AI. La maggior parte di questi studi ha seguito un metodo chiamato apprendimento supervisionato. In questo metodo, vari modelli di machine learning utilizzano caratteristiche come il numero di righe in un codice o la complessità di quel codice. La ricerca ha mostrato che i modelli basati su testo spesso performano meglio di quelli che si basano principalmente su caratteristiche del codice.

Più recentemente, l'attenzione si è spostata verso il deep learning. I ricercatori hanno esplorato diversi modelli di deep learning, come le Reti Neurali Convoluzionali (CNN) e le reti Long Short-Term Memory (LSTM). Alcuni ricercatori hanno persino sperimentato diversi tipi di grafi delle proprietà del codice. Alcuni studi hanno esaminato specificamente come i modelli di deep learning funzionino nella ricerca di vulnerabilità, mostrando che il fine-tuning dei modelli può portare a prestazioni migliori.

Uno studio ha suggerito che i modelli basati su transformer performano meglio dei modelli basati su grafi. Ad esempio, un modello chiamato VulBERTa è stato sviluppato utilizzando il modello RoBERTa per identificare vulnerabilità nel codice C/C++. Altri studi hanno esplorato l'uso dell'architettura BERT per rilevare vulnerabilità nel codice, scoprendo che i modelli transformer possono essere più efficaci dei modelli tradizionali di deep learning.

Recentemente, ci sono state ricerche che valutano ChatGPT per trovare vulnerabilità nel codice Java. Tuttavia, c'è una lacuna negli studi che confrontano ChatGPT con gli strumenti di sicurezza esistenti specificamente per Python, che questo documento si propone di colmare.

#Dataset Utilizzato per i Test

Il nostro dataset di test consiste di 156 file di codice Python. Di questi, 130 file provengono da un dataset di valutazione della sicurezza che rappresenta 75 diversi tipi di vulnerabilità. I restanti 26 file provengono da un progetto che si è concentrato sul rilevamento di vulnerabilità in Python. Un esperto di sicurezza ha dovuto rivedere i file per contrassegnare le righe specifiche di codice che contenevano vulnerabilità.

#Utilizzo dell'API ChatGPT per la Rilevazione

Per i nostri esperimenti, abbiamo utilizzato il modello ChatGPT GPT-3.5-turbo, che consente un'interazione più avanzata rispetto alle versioni precedenti. Questo modello può elaborare una serie di messaggi e mantenere il contesto, rendendo più facile porre domande relative a file di codice specifici. Abbiamo condotto quattro tipi di esperimenti utilizzando questo modello.

1. Nel primo esperimento, abbiamo fornito al modello file vulnerabili e chiesto se contenevano problemi di sicurezza senza specificare alcun tipo di vulnerabilità conosciuto. L'obiettivo era determinare se il modello potesse identificare vulnerabilità semplicemente indicando i numeri di riga del codice.

2. Nel secondo esperimento, abbiamo fornito un elenco di tipi di vulnerabilità noti e chiesto al modello di identificare quali tipi erano presenti nei file di codice vulnerabili. Le risposte sono state formattate in JSON per facilitare il confronto con i risultati di altri strumenti.

3. Il terzo esperimento ha comportato il fornire al modello etichette degli strumenti di sicurezza esistenti e chiedere se specifiche vulnerabilità erano presenti in ciascun file. Qui, avevamo anche l'opzione di includere eventuali vulnerabilità aggiuntive che il modello potrebbe identificare.

4. Nell'ultimo esperimento, non abbiamo fornito al modello alcuna etichetta e gli abbiamo chiesto di identificare vulnerabilità basate sulla sua conoscenza. Le risposte seguivano lo stesso formato JSON.

La scelta dei prompt utilizzati per interagire con il modello è stata cruciale, poiché potrebbe influenzare notevolmente i risultati. Abbiamo modificato il modo in cui presentavamo i prompt per ottimizzare le prestazioni del modello.

#Valutazione dei Risultati

Per valutare l'efficacia di ChatGPT rispetto agli strumenti stabiliti, abbiamo calcolato varie metriche basate sull'accuratezza nella identificazione delle vulnerabilità. Queste metriche includevano quanti veri positivi, veri negativi, falsi positivi e falsi negativi il modello ha prodotto. Abbiamo quindi confrontato i risultati di ChatGPT con quelli di Bandit, Semgrep e SonarQube.

Nel primo esperimento, ChatGPT non ha performato meglio degli altri strumenti per quanto riguarda la precisione o il richiamo. Nel secondo esperimento, nonostante l'utilizzo delle etichette di vulnerabilità fornite, i risultati del modello erano comparabili a quelli degli strumenti SAST.

Nel terzo esperimento, dove abbiamo agito come assistente agli strumenti SAST, i risultati hanno mostrato un miglioramento notevole. In particolare, quando abbiamo disregardato nuove etichette identificate dal modello, i risultati di ChatGPT sono stati significativamente migliori di quelli degli strumenti esistenti.

Quando abbiamo permesso al modello di fare affidamento sulla sua conoscenza senza alcuna etichetta in input, le sue prestazioni sono rimaste simili a quelle degli strumenti SAST.

#Sfide e Limitazioni

Diversi fattori potrebbero influenzare i risultati del nostro studio. La principale sfida era nella scelta dei prompt appropriati per ChatGPT, che potrebbe influenzare notevolmente le sue prestazioni. La dimensione e la diversità del dataset svolgono un ruolo importante, così come la copertura di diverse vulnerabilità. Abbiamo confrontato ChatGPT solo con tre strumenti di sicurezza per Python, e strumenti aggiuntivi potrebbero fornire intuizioni diverse.

Infine, ci siamo concentrati sulla versione GPT-3.5 di ChatGPT, ed è possibile che le versioni più recenti possano dare risultati ancora migliori in studi futuri.

#Conclusione

In sintesi, abbiamo condotto vari esperimenti per testare l'abilità di ChatGPT di identificare vulnerabilità di sicurezza nel codice Python. Anche se i risultati hanno mostrato che ChatGPT può contribuire con intuizioni preziose, soprattutto se utilizzato come assistente agli strumenti di sicurezza esistenti, non è ancora un sostituto dei metodi tradizionali. I risultati del nostro studio, sebbene limitati, indicano un potenziale per lavori futuri nell'uso di modelli AI avanzati per migliorare la sicurezza del codice. Man mano che nuovi modelli vengono rilasciati, ulteriori ricerche potrebbero aiutare a ottenere risultati ancora migliori nell'identificazione delle vulnerabilità in diversi linguaggi di programmazione.