Valutare la Rilevanza dei Commenti nel Codice Software

Lo sviluppo software è un processo complicato che coinvolge molte attività, una delle quali è capire il codice scritto dagli sviluppatori. Man mano che i programmi evolvono, diventa necessario aggiungere nuove funzionalità per soddisfare le esigenze in cambiamento. Questo richiede agli sviluppatori di afferrare parti importanti del codice per evitare lavoro inutile e errori. Gli sviluppatori spesso assumono il ruolo degli utenti per testare il software e identificare eventuali problemi. Anche se i revisori esperti possono gestire questo, richiede tempo e risorse significative. Nel tempo, le industrie hanno sviluppato metodi strutturati per la revisione del codice, incluso quello che viene chiamato peer code review. Aziende come Microsoft e Google usano strumenti per supportare questo tipo di revisione.

I commenti nel codice sono importanti perché forniscono spiegazioni chiare e spunti. Spesso sono più facili da capire rispetto al codice stesso. I revisori usano questi commenti per dare feedback e suggerimenti, cosa che può migliorare l'efficacia complessiva del processo di revisione. Tuttavia, non tutti i commenti sono utili. Alcuni possono essere irrilevanti o ripetere informazioni, rendendo il processo di revisione più difficile. Pertanto, è fondamentale valutare la qualità dei commenti, poiché guidano il revisore.

Nel 2022, un programma chiamato FIRE ha introdotto un compito per valutare quanto siano pertinenti i commenti rispetto al codice che descrivono. L'obiettivo era creare un modo affidabile per valutare quanto bene i modelli possono determinare se i commenti nel codice sorgente siano utili o meno. Questo compito prevede di classificare i commenti di codice scritto nel linguaggio di programmazione C come utili o non utili. Un gruppo dell'Istituto Indiano di Scienza e Ricerca Educativa di Bhopal ha partecipato a questo compito, esaminando diverse tecniche per categorizzare la rilevanza dei commenti.

#Metodologia

Per affrontare questo problema di classificazione, abbiamo creato funzionalità dai dati di addestramento usando due approcci: il modello bag of words (BoW) e tecniche di deep learning basate su transformer. Il modello BOW considera con quale frequenza ogni parola appare nei commenti, mentre i modelli di deep learning usano metodi più complessi per afferrare i significati dietro le parole.

Per l'approccio BOW, abbiamo usato metodi di pesatura dei termini come la frequenza dei termini-inverso della frequenza del documento (TF-IDF) e un metodo basato sull'entropia. Poi abbiamo impiegato diversi classificatori di machine learning, come Macchine a Vettori di Supporto, Regressione Logistica e foreste casuali, per analizzare i commenti in base alle funzionalità BOW.

Inoltre, abbiamo esplorato metodi di deep learning attraverso modelli transformer come BERT, ALBERT e RoBERTa. Questi modelli sono stati addestrati per comprendere il contesto e il significato dei commenti rispetto al codice circostante. Abbiamo testato i modelli in modo strutturato per trovare le migliori combinazioni di impostazioni che offrissero la maggiore accuratezza nel determinare la rilevanza dei commenti.

Sia i dati di addestramento che quelli di test includevano commenti, frammenti di codice e etichette che indicavano se i commenti fossero utili. Abbiamo separato i dati in due gruppi: uno che conteneva solo commenti e un altro che includeva sia commenti che codice.

Inizialmente, abbiamo addestrato i modelli di machine learning solo usando i commenti per vedere quanto bene potessero classificare la loro utilità. Non abbiamo incluso il codice in questa fase di addestramento perché il metodo BOW da solo non può catturare in modo efficace le funzionalità rilevanti dei frammenti di codice.

Per i modelli transformer, li abbiamo affinati sui dati di addestramento che includevano sia codice che commenti. Abbiamo impostato limiti sulle lunghezze degli input testuali per garantire coerenza durante le sessioni di addestramento. Ogni modello ha svolto vari turni di addestramento per trovare il livello di prestazione ottimale.

#Lavori Correlati

Sono stati fatti diversi sforzi per migliorare i sistemi di classificazione dei commenti. Un framework notevole, chiamato iComment, mirava a combinare tecniche di elaborazione del linguaggio naturale, machine learning e analisi dei programmi per allineare meglio i commenti con i loro segmenti di codice rispettivi. Questo sistema è stato testato su grandi basi di codice come Linux e Mozilla, raggiungendo alta accuratezza nell'identificare commenti scadenti.

Un altro framework rilevante per questo compito era conosciuto come Commentprobe. Questo progetto si è concentrato sull'annotazione di un dataset sondando le opinioni degli sviluppatori sulle pratiche di commento. Ha creato embedding pre-addestrati da dati provenienti da forum di programmazione, che sono stati poi utilizzati per addestrare modelli per classificare i commenti in modo efficace.

Sebbene l'attenzione principale sia stata sulla classificazione dei commenti nel codice, altri studi hanno anche esaminato vari metodi di analisi e trasformazione del codice tra i linguaggi di programmazione. Questi studi enfatizzano diversi approcci alle rappresentazioni di embedding per derivare informazioni utili sia dal codice che dai commenti.

#Design Sperimentale

I dataset di addestramento e test sono stati preparati con attenzione. Entrambi i set includevano commenti e i corrispondenti frammenti di codice C contrassegnati con etichette di rilevanza. I dati sono stati organizzati in modo da permetterci di estrarre commenti e codice in collezioni separate per l'analisi.

I classificatori di machine learning sono stati impostati usando il modello BOW con tecniche di pesatura dei termini TF-IDF e basate sull'Entropia. L'intenzione era determinare come le pesature influenzassero le prestazioni di classificazione. Abbiamo applicato tecniche statistiche per filtrare i termini più rilevanti dai commenti, contribuendo a un'analisi più efficace.

Utilizzando strumenti software come Scikit-learn, abbiamo addestrato i modelli esclusivamente sui dati dei commenti. Questo passaggio ha garantito che i classificatori apprendessero solo da ciò che i commenti offrivano, permettendoci di valutare le loro prestazioni in modo indipendente. I parametri per l'addestramento sono stati ottimizzati attraverso una tecnica di cross-validation per evitare bias nei risultati del modello.

Nel frattempo, i modelli transformer sono stati addestrati sul dataset combinato di codice e commenti. Abbiamo affinato i modelli per catturare il maggior numero possibile di dettagli semantici. Tuttavia, abbiamo affrontato limitazioni basate sulla dimensione del dataset di addestramento, che potrebbe aver limitato i modelli nella comprensione completa delle sfumature dei commenti collegati al codice.

#Risultati e Analisi

I risultati ottenuti dalla fase di addestramento hanno mostrato che i classificatori di regressione logistica e delle macchine a vettori di supporto hanno ottenuto i migliori risultati, raggiungendo i punteggi F1 più alti tra i modelli testati. Curiosamente, mentre il modello transformer ALBERT mostrava promettente, non è riuscito a superare i modelli di machine learning più semplici nel compito di classificazione.

Durante i test, abbiamo notato un significativo divario tra i risultati sui dati di addestramento e di test. Il modello che ha performato meglio in addestramento non ha mantenuto lo stesso tasso di successo nell'ambiente di test. Non siamo riusciti a individuare le ragioni esatte di questo calo di prestazioni a causa di vincoli di tempo, ma sospettavamo che i modelli non fossero riusciti a catturare adeguatamente il contesto necessario dai dati di addestramento.

I modelli transformer, in particolare, hanno incontrato difficoltà durante la fase di test. Il disallineamento potrebbe derivare dal fatto che i modelli pre-addestrati sono stati progettati sulla base di fonti testuali diverse che non si allineano bene con il linguaggio e le pratiche dello sviluppo software.

#Conclusione

Il compito imposto da FIRE 2022 ha messo in evidenza le sfide significative che i ricercatori affrontano nel tentativo di classificare commenti utili. Nonostante i nostri sforzi, nessuno dei modelli ha mostrato prestazioni soddisfacenti sui dati di test. Questo richiede ulteriori indagini sulle carenze dei nostri approcci e lo sviluppo di nuovi modelli per migliorare l'accuratezza della classificazione.

Un fattore chiave nei risultati insoddisfacenti potrebbe essere stata la dimensione limitata dei dati di addestramento. Questo piccolo dataset probabilmente non ha rappresentato tutti gli aspetti di codice e commenti necessari per una classificazione robusta. Lavori futuri dovrebbero mirare ad espandere il corpus di addestramento e incorporare più concetti di sviluppo software per creare migliori embedding che potrebbero aiutare a identificare funzionalità rilevanti nei commenti del codice.

Per migliorare i risultati, dobbiamo considerare altre tecniche che possano catturare il contesto e il significato richiesti per uno sviluppo e una manutenzione software efficaci. Questi aggiustamenti sono necessari per garantire che i modelli possano valutare accuratamente la qualità dei commenti in relazione al codice a cui si riferiscono.