Avaliando a Relevância dos Comentários no Código de Software

Desenvolvimento de software é um processo complicado que envolve várias tarefas, uma delas é entender o código escrito pelos desenvolvedores. À medida que os programas evoluem, adicionar novas funcionalidades se torna necessário para atender a necessidades que mudam. Isso requer que os desenvolvedores compreendam partes importantes do código para evitar trabalho desnecessário e erros. Os desenvolvedores costumam assumir o papel de usuários para testar o software e identificar qualquer problema. Embora revisor experiente consiga lidar com isso, leva bastante tempo e recursos. Com o tempo, as indústrias desenvolveram métodos estruturados para revisar código, incluindo o que é conhecido como revisão de código entre pares. Empresas como Microsoft e Google usam ferramentas para apoiar esse tipo de revisão.

Comentários no código são importantes porque fornecem explicações e insights claros. Muitas vezes, eles são mais fáceis de entender do que o próprio código. Revisores usam esses comentários para dar feedback e sugestões, o que pode melhorar a eficácia geral do processo de revisão. No entanto, nem todos os comentários são úteis. Alguns podem ser irrelevantes ou repetir informações, dificultando o processo de revisão. Portanto, é crucial avaliar a qualidade dos comentários, já que eles guiam o revisor.

Em 2022, um programa chamado FIRE introduziu uma tarefa para avaliar quão relevantes os comentários são em relação ao código que descrevem. O objetivo era criar uma maneira confiável de avaliar quão bem os modelos podem determinar se os comentários no código-fonte são úteis ou não. Essa tarefa envolve classificar comentários de código escrito na linguagem de programação C como úteis ou não úteis. Um grupo do Instituto Indiano de Educação e Pesquisa Científica de Bhopal participou dessa tarefa, analisando diferentes técnicas para categorizar a relevância dos comentários.

#Metodologia

Para resolver esse problema de classificação, criamos características a partir dos dados de treinamento usando duas abordagens: o modelo bag of words (BoW) e técnicas de deep learning baseadas em transformers. O modelo BOW considera com que frequência cada palavra aparece nos comentários, enquanto os modelos de deep learning usam métodos mais complexos para entender os significados por trás das palavras.

Para a abordagem BOW, usamos métodos de ponderação de termos como frequência de termo-inversa frequência de documento (TF-IDF) e um método baseado em Entropia. Em seguida, empregamos diferentes classificadores de machine learning, como máquinas de vetor de suporte, Regressão Logística e florestas aleatórias, para analisar os comentários com base nas características BOW.

Além disso, exploramos métodos de deep learning através de modelos transformer como BERT, ALBERT e RoBERTa. Esses modelos foram treinados para entender o contexto e o significado dos comentários em relação ao código ao redor. Testamos os modelos de uma maneira estruturada para encontrar as melhores combinações de configurações que proporcionassem a maior precisão em determinar a relevância dos comentários.

Tanto os dados de treinamento quanto os de teste incluíram comentários, trechos de código e rótulos indicando se os comentários eram úteis ou não. Separamos os dados em dois grupos: um que continha apenas comentários e outro que incluía tanto comentários quanto código.

Inicialmente, treinamos os modelos de machine learning apenas usando os comentários para ver quão bem eles poderiam classificar sua utilidade. Não incluímos o código nessa fase de treinamento porque o método BOW sozinho não consegue capturar efetivamente as características relevantes dos trechos de código.

Para os modelos de transformer, nós os ajustamos nos dados de treinamento que incluíam tanto código quanto comentários. Definimos limites nos tamanhos das entradas de texto para garantir consistência durante as sessões de treinamento. Cada modelo passou por várias rodadas de treinamento para encontrar o nível de desempenho ideal.

#Trabalhos Relacionados

Vários esforços foram feitos para melhorar os sistemas de classificação de comentários. Uma estrutura notável, chamada iComment, teve como objetivo combinar técnicas de processamento de linguagem natural, machine learning e análise de programas para alinhar melhor os comentários com seus respectivos segmentos de código. Esse sistema foi testado em grandes bases de código como Linux e Mozilla, alcançando alta precisão na identificação de comentários ruins.

Outra estrutura relevante para essa tarefa era conhecida como Commentprobe. Este projeto focou na anotação de um conjunto de dados pesquisando as opiniões dos desenvolvedores sobre práticas de comentários. Ele criou embeddings pré-treinadas a partir de dados coletados em fóruns de programação, que foram então usados para treinar modelos para classificar comentários de forma eficaz.

Embora o foco principal tenha sido a classificação de comentários em código, outros estudos também analisaram vários métodos de análise e transformação de código entre linguagens de programação. Esses estudos enfatizam diferentes abordagens para representações de embeddings para extrair informações úteis tanto de código quanto de comentários.

#Design Experimental

Os conjuntos de dados de treinamento e teste foram cuidadosamente preparados. Ambos os conjuntos incluíram comentários e os trechos de código C correspondentes marcados com rótulos de relevância. Os dados foram organizados de uma maneira que permitisse extrair comentários e código em coleções separadas para análise.

Os classificadores de machine learning foram configurados usando o modelo BOW com técnicas de ponderação de termos TF-IDF e baseadas em Entropia. A intenção era determinar como as ponderações afetariam o desempenho de classificação. Aplicamos técnicas estatísticas para filtrar os termos mais relevantes dos comentários, o que contribuiu para uma análise mais eficaz.

Usando ferramentas de software como Scikit-learn, treinamos os modelos exclusivamente com os dados dos comentários. Essa etapa garantiu que os classificadores aprendessem apenas com o que os comentários ofereciam, permitindo que avaliássemos seu desempenho de forma independente. Os parâmetros para o treinamento foram otimizados através de uma técnica de validação cruzada para evitar viés nos resultados dos modelos.

Enquanto isso, os modelos transformer foram treinados no conjunto de dados combinado de código e comentários. Nós os ajustamos para capturar o máximo de detalhes semânticos possível. No entanto, enfrentamos limitações baseadas no tamanho do conjunto de dados de treinamento, que pode ter restringido os modelos de entender completamente as nuances dos comentários relacionados ao código.

#Resultados e Análise

Os resultados obtidos na fase de treinamento mostraram que os classificadores de regressão logística e máquinas de vetor de suporte tiveram o melhor desempenho, alcançando as maiores pontuações F1 entre os modelos testados. Curiosamente, embora o modelo transformer ALBERT mostrasse potencial, não conseguiu superar os modelos de machine learning mais simples na tarefa de classificação.

Durante os testes, notamos uma diferença significativa entre os resultados dos dados de treinamento e teste. O modelo que teve o melhor desempenho no treinamento não manteve a mesma taxa de sucesso no ambiente de teste. Não conseguimos identificar as razões exatas para essa queda no desempenho devido a limitações de tempo, mas suspeitamos que os modelos não conseguiram capturar adequadamente o contexto necessário dos dados de treinamento.

Os modelos transformer, em particular, tiveram dificuldades durante a fase de teste. O descompasso pode ter surgido porque os modelos pré-treinados foram projetados com base em fontes de texto diferentes que não se alinham bem com a linguagem e as práticas de desenvolvimento de software.

#Conclusão

A tarefa estabelecida pelo FIRE 2022 destacou os desafios significativos que os pesquisadores enfrentam ao trabalhar para classificar comentários úteis. Apesar de nossos esforços, nenhum dos modelos mostrou desempenho satisfatório nos dados de teste. Isso pede uma investigação mais profunda sobre as falhas de nossas abordagens e o desenvolvimento de novos modelos para melhorar a precisão da classificação.

Um fator chave nos resultados insatisfatórios pode ter sido o tamanho limitado dos dados de treinamento. Esse pequeno conjunto de dados provavelmente não representou todos os aspectos de código e comentários necessários para uma classificação robusta. Trabalhos futuros devem buscar expandir o corpus de treinamento e incorporar mais conceitos de desenvolvimento de software para criar melhores embeddings que possam ajudar a identificar características relevantes nos comentários de código.

Para melhorar os resultados, precisamos considerar outras técnicas que possam capturar o contexto e o significado exigidos para um desenvolvimento e manutenção de software eficazes. Esses ajustes são necessários para garantir que os modelos possam avaliar com precisão a qualidade dos comentários em relação ao código a que se referem.