Melhorando a Detecção de Intrusões com Insights Visuais

Sistemas de detecção de intrusão (IDS) são tipo o olhar atento do bairro no mundo digital. Eles ficam de olho no que tá rolando nas redes e computadores, checando sinais de problemas ou ataques de cibercriminosos. É como ter um segurança pra garantir que tudo esteja funcionando bem e que ninguém esteja tentando entrar. Eles ficam atentos a várias ameaças, como ataques de negação de serviço (onde o sistema fica sobrecarregado de solicitações), spoofing (onde alguém finge ser outra pessoa) e outras que podem causar danos.

Mas aqui vai o detalhe: até os melhores seguranças podem errar. No mundo dos IDS, esses erros aparecem como Falsos Positivos (FP) e Falsos Negativos (FN). Um falso positivo é quando o sistema acha que algo é uma ameaça quando não é. É como achar que seu vizinho tranquilo é um ladrão só porque ele tá de capuz. Por outro lado, um falso negativo é quando o sistema perde uma ameaça real. Imagina um ladrão passando despercebido pelo segurança porque ele se misturou muito bem.

#O Problema com as Classificações Erradas

Um dos maiores desafios de usar modelos de machine learning (ML) e deep learning (DL) pra detecção de intrusão são essas classificações erradas. Quando um IDS erra, o trabalho dos analistas humanos fica muito mais complicado. Eles precisam tomar decisões com base nas informações fornecidas, e se essas informações não forem precisas, pode ter consequências sérias.

Nesse contexto, nosso objetivo é ajudar os analistas a identificarem facilmente os falsos positivos e falsos negativos. Fazemos isso usando um método chamado inteligência artificial explicável (XAI). Com a XAI, facilitamos ver por que um IDS fez uma determinada previsão. Usando ferramentas visuais, como gráficos SHAP, conseguimos mostrar quais características contribuíram para a decisão do sistema.

#Como Abordamos a Solução

Utilizamos várias bases de dados de tráfego de rede no nosso trabalho. Essas bases incluem uma mistura de tráfego benigno (seguro) e tráfego de ataque. Pra entender tudo, focamos no cenário de classificação binária, onde o tráfego é rotulado como 'benigno' ou 'ataque'.

1. Coleta e Preparação de Dados: Primeiro, coletamos dados de ataques anteriores e tráfego normal. Esses dados são limpos e organizados pra garantir que estão prontos pra análise. Lidamos com desequilíbrios nos dados, porque geralmente tem muito mais exemplos benignos do que ataques. Podemos usar técnicas como oversampling (adicionando mais exemplos de ataque) ou undersampling (removendo alguns exemplos benignos) pra equilibrar tudo.

2. Treinamento dos Modelos: Depois da preparação, treinamos nossos modelos de machine learning. Usamos diferentes classificadores baseados em árvore, como Árvores de Decisão, XGBoost e Florestas Aleatórias pra classificar o tráfego. Os modelos aprendem com os dados, tentando prever com precisão se uma determinada instância de tráfego é benigno ou um ataque.

3. Usando SHAP pra Insights: Uma vez que nossos modelos estão treinados, aplicamos SHAP pra obter insights sobre como eles tomam decisões. SHAP usa conceitos da teoria dos jogos cooperativos pra explicar a contribuição de cada característica pras previsões do modelo. Isso ajuda os analistas a entenderem por que uma determinada previsão foi feita, facilitando o processo de decisão.

#Visualizando a Análise

Imagina que você é um segurança checando uma pessoa suspeita. Em vez de confiar só na sua intuição, você tem um relatório detalhado mostrando como ela age em várias situações. É isso que os gráficos SHAP fazem - eles fornecem insights sobre as previsões do modelo e ajudam a estabelecer confiança.

Veja como funciona:

• Gerando Gráficos SHAP: Criamos gráficos SHAP para verdadeiros positivos (ataques identificados corretamente), verdadeiros negativos (tráfego benigno identificado corretamente), falsos positivos e falsos negativos. Esses gráficos nos permitem comparar visualmente as contribuições das características.

• Sobrepondo Gráficos SHAP: A parte inteligente vem quando sobrepomos esses gráficos. Por exemplo, se temos uma instância que o modelo acha que é um ataque (uma previsão positiva), podemos comparar suas características com as dos grupos de verdadeiros positivos e falsos positivos. Se ela parecer mais com o grupo dos falsos positivos, sabemos que provavelmente é um erro.

#A Importância das Probabilidades Brutas

Além de usar gráficos SHAP, também consideramos a probabilidade bruta das nossas previsões. Isso é como ter uma intuição sobre a probabilidade de alguém ser um ladrão com base nas ações dele. Uma alta probabilidade pode significar que o analista tem mais confiança na previsão, enquanto uma probabilidade mais baixa pode levantar suspeitas.

Ao avaliar os gráficos sobrepostos e as probabilidades brutas, os analistas podem decidir se uma previsão é confiável. Se tudo indicar um falso positivo, eles podem agir de acordo e tratar aquela instância como benigno.

#Estudos de Caso pra Testar a Metodologia

Realizamos estudos de caso usando diferentes Conjuntos de dados públicos pra mostrar como nosso método funciona em cenários da vida real. Cada conjunto apresentou seus próprios desafios, mas o objetivo continuou o mesmo: identificar com precisão falsos positivos e falsos negativos.

1. Conjunto de Dados CIC-IoT-2023: Esse conjunto é uma mina de ouro pra testes, tá cheio de instâncias de ataques e tráfego benigno. Notamos que uma grande maioria das instâncias eram ataques, tornando essencial equilibrar os dados antes da análise. Depois de tudo equilibrado, aplicamos nossa metodologia e analisamos os resultados.

2. Conjunto de Dados NF-UQ-NIDS-v2: Esse conjunto tinha uma variedade de anomalias baseadas em rede. Ao aplicar nosso método, vimos um quadro claro de como o modelo se saiu em diferenciar tráfego benigno de tráfego de ataque. Os gráficos visuais foram fundamentais pra ajudar os analistas a entenderem as previsões do modelo.

3. Conjunto de Dados HIKARI-2021: Esse conjunto continha tanto instâncias benignas quanto de ataque. Aplicamos nosso método e encontramos que os gráficos sobrepostos iluminavam as distinções entre falsos positivos e falsos negativos. A clareza que essas visualizações trouxeram foi notável.

#Avaliando a Eficácia do Método

Depois de realizar nossos experimentos, avaliamos os resultados com base em quão bem os analistas conseguiram identificar falsos positivos e falsos negativos com precisão. Introduzimos algumas instâncias aleatórias na mistura e pedimos aos analistas que trabalhassem com elas usando os gráficos SHAP que geramos.

Os resultados foram encorajadores. Muitos analistas conseguiram identificar com sucesso falsos positivos e falsos negativos com base nos sinais visuais dos gráficos. Eles tomaram decisões informadas que ajudaram a reduzir as taxas gerais de classificação incorreta.

#Limitações do Estudo

Embora tenhamos encontrado nosso método eficaz, não é sem limitações. Pra começar, focamos em modelos baseados em árvore e não exploramos opções de deep learning, que poderiam ter adicionado mais uma camada de análise.

Além disso, mesmo com nossa abordagem sistemática, os analistas ainda precisam interpretar os gráficos SHAP. Essa dependência da avaliação humana pode às vezes levar a erros. Pode ser que não tenhamos considerado completamente cenários complexos de classificação multi-classe, deixando espaço pra investigações futuras.

Por último, nosso modelo precisa ser atualizado periodicamente. Se ele não se adaptar a padrões de dados em mudança, as decisões tomadas com base apenas em informações históricas podem levar a classificações erradas.

#Conclusão: Um Passo em Direção a Melhores Decisões

No final das contas, nosso trabalho mostra como a análise visual combinada com IA explicável pode melhorar significativamente a tomada de decisões em sistemas de detecção de intrusão. Usando gráficos SHAP, fornecemos aos analistas ferramentas pra dissecar as previsões do modelo, permitindo que eles naveguem pelas complexidades de falsos positivos e falsos negativos com mais confiança.

À medida que a tecnologia continua a evoluir, também irão evoluir as ameaças que enfrentamos no mundo digital. Fortalecendo nossos sistemas de detecção de intrusão hoje, abrimos caminho pra um amanhã mais seguro.