Nova estratégia de ataque coloca em risco a segurança dos LLMs

Modelos de linguagem grandes (LLMs) como o ChatGPT tiveram um grande impacto em várias indústrias. Mas, cada vez mais, rola uma preocupação sobre a capacidade deles de serem enganados e gerarem conteúdo prejudicial. Mesmo com Medidas de Segurança, essas podem ser contornadas. Este texto discute um novo método chamado ataque WordGame, que pode explorar fraquezas na forma como os LLMs se protegem.

#O Que São LLMs e Quais São Seus Problemas de Segurança?

LLMs são ferramentas poderosas que são usadas em aplicações como saúde, finanças e direito. Eles foram feitos para gerar textos parecidos com os humanos. Mas, tem riscos de que eles possam criar conteúdo prejudicial por engano. Isso deu origens a ataques de jailbreak, onde a galera tenta fazer os LLMs produzirem respostas indesejadas.

Medidas de segurança foram desenvolvidas para evitar isso, mas não são infalíveis. Muitos ataques se tornaram mais complexos e eficientes, tornando mais difícil pará-los. Alguns ataques já existentes mostraram que os LLMs podem ser enganados, levantando questões sobre a eficácia das medidas de segurança atuais.

#Como Funcionam as Medidas de Segurança dos LLMs?

LLMs usam um método chamado aprendizado de preferências para alinhar suas saídas com os valores humanos. Isso significa que eles são treinados para rejeitar pedidos prejudiciais com base no feedback de revisores humanos. Essas medidas ajudam os LLMs a identificar e evitar conteúdo inseguro.

Mas, tem suas limitações. Quando os LLMs são treinados em certas palavras prejudiciais, eles podem ficar excessivamente cautelosos, levando a consequências indesejadas. Se uma consulta prejudicial não se parece com nenhum exemplo anterior nos dados de treinamento, os LLMs podem não responder de forma apropriada.

#Principais Recursos do Ataque WordGame

O ataque WordGame olha para duas estratégias principais para enganar os LLMs:

1. Obfuscação de Consulta: Isso envolve mudar uma consulta prejudicial para torná-la menos reconhecível. Ao substituir palavras prejudiciais óbvias por algo menos direto, a consulta tem menos chance de acionar uma resposta de segurança.

2. Obfuscação de Resposta: Isso significa mudar o contexto em que o LLM responde. Ao adicionar tarefas extras ou perguntas não relacionadas antes de abordar a consulta prejudicial, o LLM tem menos chance de gerar uma resposta típica preferida ou não preferida.

#Nosso Método Proposto: Ataque WordGame

Neste texto, apresentamos o ataque WordGame, que usa tanto a obfuscação de consulta quanto a obfuscação de resposta ao mesmo tempo. A ideia é substituir palavras prejudiciais por um jogo de adivinhação de palavras. Esse jogo faz o pedido parecer inofensivo e incentiva o LLM a se concentrar em resolver o jogo antes de lidar com qualquer conteúdo prejudicial.

#Passos no Ataque WordGame

Para realizar o ataque WordGame, os seguintes passos são tomados:

1. Criar um Jogo de Palavras: Um jogo de palavras substitui qualquer palavra prejudicial na entrada. Este jogo é feito para distrair o LLM da intenção prejudicial original.

2. Pedir Resposta ao Jogo: Antes que o LLM possa lidar com o pedido malicioso, ele é solicitado a resolver o jogo de palavras ou responder a perguntas não relacionadas. Essa estratégia visa criar um contexto que torne menos provável a geração de conteúdo prejudicial.

#Experimentando com o Ataque WordGame

Realizamos experimentos para ver quão eficaz é o ataque WordGame em comparação com outros métodos existentes. Testamos diferentes LLMs, incluindo modelos comerciais e de código aberto.

#Configuração do Teste

Os experimentos envolveram seis LLMs, incluindo modelos populares como GPT 3.5 e Claude 3. Comparamos o desempenho do ataque WordGame com outros métodos de jailbreak estabelecidos.

#Resultados e Análise

Os resultados mostraram que o WordGame e sua versão aprimorada, WordGame+, superaram significativamente outros métodos. A taxa de sucesso do ataque (ASR) foi muito alta, especialmente com tentativas limitadas. Mesmo com apenas algumas tentativas, o ataque WordGame conseguiu quebrar as medidas de segurança de LLMs poderosos.

#Eficiência do Ataque WordGame

Eficiência em ataques de jailbreak é crucial. Muitos ataques levam mais tempo e recursos do que o necessário. O ataque WordGame se destaca porque requer menos consultas e usa menos esforço geral em comparação com outros métodos.

#Custo de Tempo e Recursos

Analisamos quantos tokens foram usados para cada tentativa e o tempo gasto para completar o pedido. O WordGame e o WordGame+ se mostraram eficientes, usando bem menos tokens e gerando respostas mais rápido. Essa eficiência é importante, já que serviços modernos de LLM costumam cobrar com base no uso de tokens.

#Análise Qualitativa das Respostas

Depois de rodar o ataque WordGame, analisamos a qualidade das respostas geradas. O objetivo é ver se os ataques podiam produzir resultados prejudiciais sem chamar atenção para si mesmos.

#Exemplos de Respostas

As respostas geradas pelo ataque WordGame foram mais detalhadas e menos propensas a levar a mal-entendidos em comparação com outros ataques. Elas forneceram instruções claras passo a passo relacionadas a atividades prejudiciais, enquanto garantiam que a intenção maliciosa estivesse bem escondida.

#Estudos de Ablação

Para entender a eficácia do ataque WordGame, realizamos testes adicionais para isolar o impacto da obfuscação de consulta e resposta.

#Importância de Cada Método

Removendo um dos métodos de obfuscação, conseguimos ver quanto cada um contribui para o sucesso geral. Os resultados mostraram que tanto a obfuscação de consulta quanto a de resposta melhoram significativamente a eficácia do ataque.

#Testando Diferentes Perguntas Auxiliares

Também experimentamos várias perguntas auxiliares para ver se elas afetavam a taxa de sucesso. As descobertas mostraram que o ataque WordGame era estável e não dependia muito das perguntas específicas usadas, indicando que poderia ser versátil.

#Melhorando Outros Ataques com Recursos do WordGame

Nossa pesquisa também olhou para como as estratégias usadas no ataque WordGame poderiam melhorar métodos de jailbreak existentes. Ao incorporar a obfuscação de consulta e resposta em ataques mais antigos, vimos uma melhoria marcante em sua eficácia, mesmo que ainda não chegassem ao nível do ataque WordGame.

#Conclusão

O ataque WordGame oferece uma nova maneira de contornar as medidas de segurança em modelos de linguagem grandes. Usando simultaneamente obfuscação de consulta e obfuscação de resposta, ele consegue quebrar as barreiras de alguns dos LLMs mais avançados hoje. Esta pesquisa indica que ainda há muito trabalho a ser feito para tornar os LLMs mais seguros e confiáveis. As descobertas podem ajudar a moldar futuras estratégias para melhorar a segurança dos LLMs e inspirar novas ferramentas para testar esses modelos.

Diante disso, os esforços contínuos para melhorar as medidas de segurança nos LLMs devem considerar essas vulnerabilidades e como podem ser efetivamente abordadas em modelos futuros.