Avaliação de Vulnerabilidades em Software em C/C++

C e C++ são duas das linguagens de programação mais usadas hoje em dia, especialmente em sistemas críticos onde o uso eficiente dos recursos é essencial. Mas, essas linguagens também estão ligadas a uma porrada de Vulnerabilidades de Software (SVs). Essas vulnerabilidades podem causar riscos sérios de segurança, como acesso não autorizado ao sistema, perda de dados ou até travamentos completos. Um exemplo famoso é o bug do Heartbleed, que deixou os atacantes acessarem dados sensíveis em uma caralhada de sites HTTPS.

Dada a importância de lidar com essas vulnerabilidades, é crucial não só detectá-las, mas também avaliar seu impacto. Essa avaliação ajuda a priorizar quais vulnerabilidades precisam de atenção urgente e quais podem ser resolvidas depois. Um método conhecido para avaliar essas vulnerabilidades é o Sistema Comum de Pontuação de Vulnerabilidades (CVSS), que as avalia com base na sua explorabilidade, impacto e gravidade.

Apesar de muitos estudos terem focado na detecção de vulnerabilidades no código C e C++, a avaliação dessas vulnerabilidades, principalmente no nível de função, ainda não foi explorada a fundo. Este estudo tem como objetivo preencher essa lacuna comparando diferentes modelos de Aprendizado de Máquina (ML) e Aprendizado Profundo (DL) para avaliar vulnerabilidades de software em código C/C++.

#Importância da Avaliação de Vulnerabilidades de Software

Avaliar vulnerabilidades de software é vital para melhorar a segurança do software. Isso oferece informações detalhadas sobre o impacto potencial e a gravidade dessas vulnerabilidades, permitindo que os desenvolvedores priorizem e corrijam elas de forma eficaz. Quando as vulnerabilidades são identificadas, muitas vezes elas exigem mais do que apenas detecção; precisam ser priorizadas para correção com base nas suas características e níveis de gravidade.

A estrutura do CVSS permite que os desenvolvedores avaliem vulnerabilidades com base em um conjunto padronizado de métricas. Essas métricas ajudam a determinar quais vulnerabilidades apresentam o maior risco para o software e quais devem ser tratadas rapidamente. Estudos anteriores usaram principalmente relatórios de vulnerabilidades para avaliação, o que pode causar atrasos na resolução de problemas devido ao tempo que leva para publicar esses relatórios. Por isso, avaliar vulnerabilidades diretamente do código é uma abordagem mais rápida.

#Modelos de Aprendizado de Máquina e Aprendizado Profundo

O estudo investiga o uso de vários modelos de aprendizado de máquina (ML) e aprendizado profundo (DL) para avaliar vulnerabilidades no nível de função em C/C++. Especificamente, analisa quão bem esses modelos conseguem prever métricas do CVSS com base nas funções de código vulneráveis.

No total, seis modelos de ML e cinco modelos de DL foram usados na avaliação. Esses modelos foram comparados para determinar qual teve o melhor desempenho na previsão das métricas do CVSS a partir do código. Além disso, o estudo explorou o potencial do Aprendizado Multitarefa, onde um único modelo prevê múltiplos resultados ao mesmo tempo, em vez de treinar modelos separados para cada métrica do CVSS.

#Coleta e Preparação de Dados

Para conduzir o estudo, foi montado um conjunto de dados de funções vulneráveis em C/C++. Esse conjunto incluiu mais de 9.000 funções vulneráveis e suas correspondentes métricas do CVSS. As funções foram retiradas de vários projetos do mundo real, garantindo uma representação diversificada das vulnerabilidades. Muitas dessas funções foram modificadas em commits relacionados à correção de vulnerabilidades conhecidas, tornando-as candidatas ideais para a avaliação.

Durante o processo de preparação dos dados, as funções foram filtradas para garantir que ainda estavam disponíveis no GitHub. Qualquer função desatualizada ou inexistente foi removida do conjunto de dados. As métricas do CVSS usadas para a avaliação também foram coletadas, fornecendo informações essenciais para avaliar a gravidade e o impacto de cada vulnerabilidade.

#Modelos de Aprendizado de Máquina

Os modelos de ML utilizados neste estudo incluíram tanto modelos não-ensemble, como Regressão Logística e Máquina de Vetores de Suporte, quanto modelos ensemble, como Floresta Aleatória e Extreme Gradient Boosting. Cada modelo foi otimizado usando hiperparâmetros específicos, e diferentes métodos de extração de características foram utilizados para melhorar o desempenho.

As estratégias de extração de características incluíram técnicas como Bag-of-Tokens, onde a frequência de tokens de código foi contada, e Word2Vec, que considerou o contexto dos tokens. Esses métodos visavam fornecer aos modelos dados de entrada significativos para avaliar as vulnerabilidades com base no código.

#Modelos de Aprendizado Profundo

Os modelos de DL abordados neste estudo foram baseados em diferentes arquiteturas, incluindo modelos baseados em sequências, em gráficos e transformers. Esses modelos foram treinados no mesmo conjunto de dados que os modelos de ML, permitindo uma comparação direta de seu desempenho.

Entre os modelos de DL, o CodeBERT mostrou o melhor desempenho na avaliação de vulnerabilidades, destacando a eficácia das arquiteturas baseadas em transformers para essa tarefa. Outros modelos, como CNN e LSTM, também se saíram bem, mas não superaram o CodeBERT em termos de precisão.

#Comparação de Desempenho

O estudo descobriu que os modelos de ML tiveram um desempenho competitivo em comparação com os modelos de DL na tarefa de avaliação de vulnerabilidades. O modelo de ML que teve o melhor desempenho, que combinou Light Gradient Boosting Machine com recursos de sub-token, alcançou resultados comparáveis aos do melhor modelo de DL. Notavelmente, o modelo de ML exigiu muito menos tempo de treinamento.

Em termos de eficiência, os modelos de ML foram vantajosos em configurações onde os recursos eram limitados. Eles puderam ser treinados em CPUs padrão, enquanto os modelos de DL normalmente precisavam de GPUs para ter um desempenho ideal. Esse aspecto torna os modelos de ML mais práticos para desenvolvedores que trabalham em ambientes com atualizações frequentes de software.

#Aprendizado Multitarefa

Um foco adicional do estudo foi no aprendizado multitarefa, onde um único modelo de DL foi treinado para prever múltiplas métricas do CVSS simultaneamente. Essa abordagem melhorou dramaticamente tanto a eficácia quanto a eficiência dos modelos. Os resultados indicaram que o aprendizado multitarefa levou a melhorias de desempenho variando de 8% a 22% em várias tarefas.

No geral, os modelos multitarefa superaram os modelos tradicionais de múltiplas classes em termos de precisão e reduziram o tempo de treinamento. Essas descobertas sugerem que empregar o aprendizado multitarefa pode ser uma estratégia benéfica para avaliar vulnerabilidades de software de forma eficiente.

#Conclusão

O estudo destaca a importância da avaliação automatizada de vulnerabilidades de software, especialmente para as linguagens de programação C/C++. Mostra que tanto modelos de aprendizado de máquina quanto de aprendizado profundo podem ser utilizados efetivamente para essa finalidade. Importante, as descobertas indicam que os modelos de ML podem alcançar um desempenho comparável ou superior aos modelos de DL, enquanto exigem significativamente menos tempo de treinamento.

A pesquisa também revela os potenciais benefícios do aprendizado multitarefa, que não só melhora o desempenho, mas também aumenta a eficiência na avaliação de vulnerabilidades. Ao fornecer uma avaliação completa de vários modelos e técnicas, este estudo oferece insights valiosos e orientações para pesquisadores e profissionais que buscam aprimorar as práticas de segurança de software em aplicações C/C++.

#Trabalho Futuro

Pesquisas futuras devem continuar a explorar e refinar abordagens baseadas em dados para avaliação de vulnerabilidades de software. Investigar diferentes arquiteturas, ajustar hiperparâmetros e expandir conjuntos de dados pode melhorar ainda mais o desempenho dos modelos. Além disso, explorar a integração desses métodos de avaliação nos fluxos de trabalho de desenvolvimento existentes melhoraria a postura geral de segurança dos projetos de software.

Em resumo, este estudo apresenta um passo significativo para melhorar a segurança do software por meio da avaliação automatizada de vulnerabilidades. Oferece uma estrutura para que pesquisadores e profissionais adotem e adaptem técnicas baseadas em dados para melhor enfrentar os desafios de segurança enfrentados no desenvolvimento de software moderno.