Simple Science

Ciência de ponta explicada de forma simples

# Informática# Criptografia e segurança# Aprendizagem de máquinas

O Lado Sombrio da IA: Ameaças de Malware

Ferramentas avançadas de IA podem ser usadas de forma errada pra criar malware, levantando preocupações sobre cibersegurança.

― 6 min ler


IA e Malware: Uma ComboIA e Malware: Uma ComboPerigosaameaças na cibersegurança.Ferramentas de IA estão criando novas
Índice

A ascensão da tecnologia de IA avançada, especialmente dos modelos de linguagem grandes (LLMs), mudou a forma como a gente lida com várias tarefas. Esses modelos podem ajudar em várias atividades, como escrever código ou resumir informações. Mas também criaram novos problemas, principalmente na área de segurança cibernética. Alguns pesquisadores mostraram que esses modelos de IA podem ser usados para criar conteúdo prejudicial ou ajudar quem tem menos experiência a realizar ataques. Este artigo discute como os LLMs podem ser mal utilizados de maneiras prejudiciais, especialmente no que diz respeito a ataques de Malware.

A Ameaça do Malware

Malware é um software criado para prejudicar um computador ou rede. Ele pode se manifestar de várias formas, como vírus, ransomware e spyware. A crescente acessibilidade de ferramentas, incluindo os LLMs, aumenta o risco de esse tipo de software ser criado e compartilhado. Estudos recentes sugerem que as pessoas podem usar LLMs como o ChatGPT para desenvolver malware de forma mais fácil. Isso levanta preocupações significativas para os especialistas em segurança cibernética.

Como os LLMs Podem Ser Mal Utilizados

Pesquisadores descobriram maneiras de usar plugins disponíveis gratuitamente com LLMs de forma prejudicial. Ao atuarem como intermediários entre um atacante e uma vítima, esses plugins facilitam o acesso de indivíduos maliciosos ao sistema da vítima. Um método envolve criar uma "prova de conceito", onde o ChatGPT ajuda a distribuir software prejudicial enquanto evita a detecção por sistemas de segurança.

Nesses cenários, até mesmo medidas de segurança estabelecidas podem falhar em identificar a atividade maliciosa porque a conexão com o LLM parece legítima. Essa situação destaca a necessidade de monitoramento cuidadoso de como os LLMs e seus plugins são utilizados.

O Conceito de RATGPT

Uma abordagem discutida envolve um conceito chamado RATGPT, que significa “Trojan de Acesso Remoto com Transformador Generativo Pré-treinado”. Essa técnica permite que atacantes controlem a máquina de uma vítima através de um software executável aparentemente inofensivo. Quando a vítima executa esse software sem saber, ele se conecta ao servidor de controle do atacante. Essa conexão permite que o atacante envie comandos para a máquina da vítima sem que ela perceba.

Plugins Exploratórios

Os plugins desenvolvidos para LLMs frequentemente oferecem acesso a vários serviços online. Embora esses plugins possam melhorar a experiência do usuário, também apresentam novas vulnerabilidades. Se um hacker conseguir manipular um plugin para apontar para seu servidor, pode receber informações da máquina da vítima. Essa situação representa uma mudança alarmante sobre a facilidade com que alguém pode explorar tecnologia sofisticada.

O Papel dos Arquivos Executáveis

Para que o ataque tenha sucesso, a vítima precisa executar um arquivo que parece inofensivo. Uma vez executado, o programa pode se comunicar com o LLM para receber comandos sem que a vítima perceba. Isso é diferente dos métodos tradicionais, onde os atacantes têm que interagir mais diretamente com seus alvos.

A prova de conceito também mostra que os atacantes podem gerar código prejudicial dinamicamente. O executável pode criar conexões com um servidor de controle e executar os comandos enviados de volta. Como o código permanece na memória do computador, muitas vezes é mais difícil para o software de segurança detectar.

Etapas de um Ataque

  1. Convencer a Vítima a Executar o Arquivo: O atacante precisa convencer a vítima a executar o software, que pode se passar por uma ferramenta útil, tipo uma versão gratuita de um aplicativo pago.

  2. Executando Comandos: Depois que o arquivo é executado, ele pode executar comandos recebidos do servidor de controle. O atacante pode obter informações sobre a máquina da vítima ou enviar instruções prejudiciais.

  3. Extraindo Informações: Por exemplo, se o malware descobrir arquivos sensíveis, ele pode enviar esses arquivos de volta para o atacante. Esse método permite que os atacantes coletem dados sem levantar suspeitas.

Limitações da Abordagem

Embora esse método mostre um potencial significativo para causar danos, também existem limitações. Para começar, a saída dos modelos de IA nem sempre é confiável. Os atacantes podem descobrir que o malware não funciona como pretendido se a IA não gerar as respostas corretas.

Além disso, alguns plugins ou recursos podem não estar disponíveis para o atacante na implementação, o que pode prejudicar a eficácia do ataque. Ter backups de vários métodos e opções é essencial para garantir que os atacantes possam se adaptar rapidamente se uma maneira se tornar inutilizável.

Riscos Futuros

A crescente capacidade dos LLMs significa que seu potencial de uso indevido provavelmente continuará a evoluir. À medida que as técnicas de malware melhoram, os métodos usados para se defender também precisam evoluir. Os desenvolvedores de sistemas de segurança devem se manter à frente e implementar novas medidas para combater esses riscos.

Proteções Existentes

Certas medidas de proteção já existem para limitar o uso indevido de LLMs, incluindo CAPTCHAs, que ajudam a garantir que usuários humanos acessem esses serviços, não scripts automatizados. Além disso, limites sobre quantas solicitações podem ser processadas ao mesmo tempo também podem desacelerar ataques.

Soluções Potenciais

Existem várias estratégias que indivíduos e organizações podem adotar para mitigar os riscos dos LLMs e seus plugins:

  1. Lista Branca de Sites: Limitar os websites que os plugins podem acessar ajuda a prevenir que atacantes direcionem as vítimas a sites prejudiciais. Permitir acesso apenas a certos sites reconhecidos pode reduzir as chances de um ataque bem-sucedido.

  2. Restringindo o Acesso aos LLMs: Organizações podem considerar bloquear o acesso a LLMs em suas redes. Isso impede a possibilidade de atacantes utilizarem essas ferramentas para explorar seus sistemas.

  3. Escaneamento de Prompts: À medida que a natureza do malware muda, as ferramentas de segurança também precisam se adaptar. Novos métodos de detecção que possam reconhecer prompts prejudiciais embutidos em executáveis são cruciais. Isso inclui encontrar maneiras de diferenciar entre prompts inofensivos e potencialmente perigosos.

Conclusão

Os avanços na tecnologia de IA trouxeram muitos benefícios, mas também carregam riscos significativos. O potencial de uso indevido dos modelos de linguagem grandes através de plugins para facilitar ataques de malware representa uma ameaça séria. É essencial que empresas e indivíduos reconheçam esses riscos e tomem medidas apropriadas para se protegerem. Ao entender como essas tecnologias podem ser mal utilizadas, podemos começar a desenvolver melhores estratégias e salvaguardas para garantir a segurança cibernética no cenário tecnológico em evolução.

Fonte original

Título: RatGPT: Turning online LLMs into Proxies for Malware Attacks

Resumo: The evolution of Generative AI and the capabilities of the newly released Large Language Models (LLMs) open new opportunities in software engineering. However, they also lead to new challenges in cybersecurity. Recently, researchers have shown the possibilities of using LLMs such as ChatGPT to generate malicious content that can directly be exploited or guide inexperienced hackers to weaponize tools and code. These studies covered scenarios that still require the attacker to be in the middle of the loop. In this study, we leverage openly available plugins and use an LLM as proxy between the attacker and the victim. We deliver a proof-of-concept where ChatGPT is used for the dissemination of malicious software while evading detection, alongside establishing the communication to a command and control (C2) server to receive commands to interact with a victim's system. Finally, we present the general approach as well as essential elements in order to stay undetected and make the attack a success. This proof-of-concept highlights significant cybersecurity issues with openly available plugins and LLMs, which require the development of security guidelines, controls, and mitigation strategies.

Autores: Mika Beckerich, Laura Plein, Sergio Coronado

Última atualização: 2023-09-07 00:00:00

Idioma: English

Fonte URL: https://arxiv.org/abs/2308.09183

Fonte PDF: https://arxiv.org/pdf/2308.09183

Licença: https://creativecommons.org/licenses/by-nc-sa/4.0/

Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.

Obrigado ao arxiv pela utilização da sua interoperabilidade de acesso aberto.

Artigos semelhantes