Novo Framework para Detectar Correções de Vulnerabilidade

Vulnerabilidades em software de código aberto podem colocar os usuários em risco se não forem corrigidas rápido. Normalmente, os desenvolvedores seguem um processo chamado Divulgação Coordenada de Vulnerabilidades (CVD). Isso significa que eles consertam os problemas antes de compartilhar os detalhes publicamente. Embora isso tenha como objetivo manter os usuários seguros, também cria uma lacuna. Durante esse tempo, atacantes podem se aproveitar do software sem correções. Por isso, detectar esses consertos silenciosos o mais rápido possível é crucial.

Os métodos atuais para encontrar essas correções geralmente dependem da análise de mudanças de código em históricos de commits de software. No entanto, eles muitas vezes combinam código adicionado e removido de maneiras que ignoram distinções importantes. Por exemplo, não levam em conta o Contexto ao redor das mudanças de código, que pode dar pistas adicionais sobre o que foi alterado. Além disso, muitos modelos usados nessa área precisam de processos de treinamento separados, o que pode reduzir a eficácia e a velocidade geral.

Para resolver esses problemas, propomos um novo framework. Essa abordagem leve, mas poderosa, usa modelos separados para entender as mudanças de código antes e depois de uma correção, incluindo o contexto ao redor. Ao pegar a diferença dessas representações, conseguimos capturar mudanças sutis que são cruciais para identificar correções de vulnerabilidades. O Treinamento Conjunto dos modelos de incorporação e classificação leva a um desempenho melhor.

#A Necessidade de Detectar Correções de Vulnerabilidades

Software de código aberto é amplamente usado por muitos desenvolvedores, tornando essencial gerenciar vulnerabilidades de forma eficaz. Detecção e resolução em tempo hábil são necessárias para evitar possíveis riscos de segurança. Se as correções de vulnerabilidades forem atrasadas, atacantes podem explorar essas fraquezas, levando a consequências graves como vazamentos de dados.

CVD ajuda a gerenciar o risco de expor detalhes das vulnerabilidades ao corrigi-las antes da divulgação pública. Correções silenciosas são recomendadas, onde as mensagens de commit não incluem informações explícitas sobre as vulnerabilidades. Porém, por várias razões, o timing das divulgações públicas pode variar, deixando uma janela de oportunidade para atores maliciosos encontrarem e explorarem essas vulnerabilidades antes que os usuários percebam que há um problema.

Com a transparência do software de código aberto, atacantes podem analisar o intervalo de tempo entre a correção de vulnerabilidades e a divulgação pública para explorar o software antes que os desenvolvedores possam informar os usuários. Estudos mostraram que vulnerabilidades não corrigidas são responsáveis por uma porcentagem significativa de vazamentos de dados.

Para contrabalançar esses riscos, há uma necessidade urgente de melhores técnicas para identificar correções silenciosas de vulnerabilidades cedo. Métodos atuais geralmente envolvem duas fases principais: primeiro, treinar modelos para representar mudanças de código em diferentes níveis, e segundo, usar essas representações para prever se um commit visa corrigir uma vulnerabilidade.

#Deficiências das Abordagens Existentes

Muitos métodos existentes falham em várias áreas:

1. Representação Ineficiente: Eles costumam representar mudanças de código simplesmente como sequências combinadas de código adicionado e removido. Esse método não captura diferenças importantes de forma eficaz.

2. Falta de Contexto: A maioria das abordagens não considera o código ao redor como contexto, que pode ser crucial para entender o propósito das mudanças. O código ao redor pode conter informações chave para deduzir a semântica das mudanças.

3. Processos de Treinamento Pesados: Muitos métodos exigem treinamento separado para múltiplos modelos ou etapas. Isso pode complicar o processo de aprendizado e reduzir a eficácia geral.

Para resolver essas deficiências, propomos um framework simples, mas eficaz, que aprimora o aprendizado das mudanças de código. Nossa abordagem utiliza modelos independentes para incorporar o código ao redor das mudanças, refletindo as diferenças de forma mais precisa.

#Framework Proposto para Detecção

Nosso novo framework melhora a identificação de correções de vulnerabilidades ao aprimorar a forma como aprendemos com as mudanças de código. Veja como funciona:

1. Uso do Contexto ao Redor: Usamos dois modelos independentes para capturar o código antes e depois das mudanças. Cada modelo considera o código ao redor como contexto, permitindo uma compreensão mais sutil.

2. Subtração Elementar: Ao fazer a diferença elemento a elemento entre as duas representações de código, conseguimos destacar mudanças sutis. Esse processo é inspirado em modelos de relacionamento de palavras e nos permite capturar a essência das modificações diretamente.

3. Treinamento Conjunto: Em vez de treinar modelos de incorporação separadamente dos modelos de classificação, nosso framework permite que ambos sejam treinados juntos. Isso leva a um processo de aprendizado mais otimizado e coerente.

#Avaliação Experimental

Testamos nosso framework em um conjunto de dados específico composto por correções de vulnerabilidades em Java de vários projetos de código aberto até o início de 2021. Nossos experimentos tinham como objetivo avaliar quão bem nosso framework pode identificar correções silenciosas de vulnerabilidades em comparação com os métodos de ponta atuais.

#Conjunto de Dados e Metodologia

Nosso conjunto de dados inclui milhares de commits, categorizados em os que corrigem vulnerabilidades e os que não. Garantimos que nosso conjunto de teste fosse distinto dos conjuntos de treinamento e validação para evitar viés. O conjunto de dados também inclui várias métricas que podemos usar para avaliar o desempenho.

#Métricas de Avaliação

Para medir a eficácia da nossa abordagem, analisamos dois aspectos: desempenho de classificação e conscientização do esforço. Usamos métricas como F1 score, precisão e recall para avaliar o desempenho de classificação. Para a conscientização do esforço, usamos CostEffort@L, que indica como nossa método identifica correções de vulnerabilidades em relação à quantidade de código revisado.

#Resultados

Nosso framework superou os métodos existentes em todas as métricas. Ele alcançou um F1 score de 0.33 e melhorou significativamente a precisão, demonstrando a capacidade de reduzir falsos positivos. Os resultados mostram que nossa abordagem não só melhora a precisão na identificação de correções de vulnerabilidades, mas também faz isso de forma eficiente.

#Importância da Representação

Também realizamos uma análise de ablação para entender quão essenciais eram nossos métodos na captura de pequenas mudanças de código. Os resultados confirmaram que usar modelos independentes e subtração elemento a elemento foi crucial para o sucesso.

Além de avaliar o conjunto de dados inicial, expandimos nossa pesquisa para analisar o desempenho do framework em cenários do mundo real. Ao atualizar o conjunto de dados para incluir dados mais recentes, garantimos que nosso framework é relevante para os desafios atuais no desenvolvimento de software.

#Aplicação no Mundo Real

Descobrimos que nosso método se sai bem ao identificar correções silenciosas em situações do mundo real. A capacidade de encontrar vulnerabilidades com precisão enquanto reduz significativamente o esforço de inspeção manual necessário é crítica para desenvolvedores e especialistas em segurança.

Como referência, nossa abordagem conseguiu detectar correções silenciosas de vulnerabilidades que outros métodos falharam em identificar. Por exemplo, sinalizamos com sucesso uma correção silenciosa para uma vulnerabilidade significativa que posteriormente foi revelada publicamente, destacando a utilidade prática do nosso método.

#Conclusão

Em resumo, nosso framework proposto oferece uma solução robusta para detectar correções silenciosas de vulnerabilidades em software de código aberto. Ao aprimorar a representação das mudanças de código e permitir o treinamento unificado de modelos, conseguimos melhorias significativas em relação aos métodos existentes. Com resultados promissores em ambientes controlados e aplicações do mundo real, nossa abordagem estabelece uma base sólida para futuras pesquisas e desenvolvimento de ferramentas no campo da segurança de software.