Riscos de Segurança em Plugins de Plataforma LLM
Saiba sobre os riscos de usar plugins em plataformas de LLM.
― 5 min ler
Neste artigo, falamos sobre os riscos de segurança associados aos plugins usados em plataformas de Modelos de Linguagem Grande (LLM). A gente foca em como esses riscos podem afetar os usuários e explora os vários métodos de ataque que os malfeitores podem usar. Nosso objetivo é dar uma visão clara do que os usuários devem ter cuidado ao usar esses plugins.
Superfície de Ataque Entre Plugins e Usuários
Quando olhamos para os riscos, uma área preocupante é como os plugins interagem com os usuários. Plugins são ferramentas que adicionam recursos ou funções a softwares já existentes, mas também podem trazer vulnerabilidades. Vamos explorar diferentes tipos de ataques que podem rolar entre plugins e usuários.
Sequestro de Máquinas de Usuários
Um grande risco é a possibilidade de um atacante tomar controle da máquina de um usuário. Isso pode causar sérios problemas, como roubo de dados pessoais, bloqueio do acesso do usuário à sua máquina ou instalação de softwares prejudiciais.
Exemplos de Mecanismos de Ataque
Plugins Não Verificados: Os usuários podem instalar plugins que não foram devidamente checados ou aprovados. Atacantes podem disfarçar malwares como plugins para enganar os usuários a baixarem.
Recomendações Maliciosas: Alguns plugins podem sugerir que usuários visitem certos sites. Se esses sites forem inseguros, podem infectar a máquina do usuário com malware.
Exploração de Informações Compartilhadas: Alguns plugins podem precisar acessar informações sensíveis, como credenciais de usuário. Se um plugin conseguir acessar esses dados, pode assumir o controle total da máquina do usuário.
Sequestro de Conta do Usuário
Outro risco significativo envolve tomar controle da conta de um usuário em outro serviço. Isso pode causar acesso não autorizado a dados e impersonificação.
Exemplos de Mecanismos de Ataque
Exploração da Autenticação: Alguns plugins podem redirecionar usuários para páginas de login falsas para roubar suas credenciais. Isso é semelhante aos ataques de phishing.
Abuso de Acesso Autorizado: Se um plugin for permitido agir em nome de um usuário, ele pode abusar dessa permissão para acessar contas sensíveis.
Recomendações Maliciosas: Assim como antes, plugins podem fazer sugestões inseguras que enganam os usuários a revelarem suas credenciais em sites falsos.
Squatting: Atacantes podem criar plugins que copiam os nomes e descrições de plugins legítimos. Os usuários podem instalar essas versões falsas sem saber, compartilhando seus dados com o atacante em vez do serviço real.
Coleta de Dados do Usuário
Muitos plugins coletam dados dos usuários, que podem ser vendidos para outros serviços ou usados para publicidade direcionada.
Exemplos de Mecanismos de Ataque
Exigência de Contas: Alguns plugins exigem que os usuários criem contas desnecessariamente. Isso permite que eles reúnam informações pessoais, como endereços de e-mail, para rastrear usuários.
Especificações de API Amplas: Plugins podem pedir mais dados do que realmente precisam, incluindo detalhes pessoais que não são relevantes para sua função.
Plugins Parceiros Benéficos
Em alguns casos, um plugin pode trabalhar com outro para compartilhar dados ou melhorar os serviços um do outro, o que pode não ser do interesse do usuário.
Exemplos de Mecanismos de Ataque
Compartilhamento de Dados do Usuário: Plugins podem trocar dados de usuários para direcionar melhor anúncios ou serviços, comprometendo a privacidade do usuário.
Fazendo Recomendações Favoráveis: Plugins podem direcionar intencionalmente os usuários para serviços parceiros, mesmo que esses serviços não sejam as melhores opções disponíveis.
Manipulação de Usuários
Plugins também podem manipular usuários através de design ou recomendações enganosas, dificultando que eles façam escolhas informadas.
Exemplos de Mecanismos de Ataque
Design Enganoso: Plugins podem mostrar opções que podem beneficiá-los financeiramente, em vez de fornecer as melhores ou mais baratas opções para os usuários.
Conteúdo Inadequado: Alguns plugins podem recomendar conteúdo prejudicial ou inadequado, expondo os usuários a situações perigosas.
Informação Falsa: Plugins podem espalhar desinformação ou conteúdo tendencioso, manipulando as opiniões ou decisões dos usuários.
Recusa de Serviço pelos Plugins
Outra forma de ataque envolve um plugin se recusar a fazer sua função pretendida. Isso pode impedir os usuários de acessar serviços necessários.
Exemplos de Mecanismos de Ataque
Recusa Deliberada: Um plugin malicioso pode ignorar os pedidos do usuário completamente, fazendo com que o usuário não consiga completar tarefas necessárias.
Servidores Não Receptivos: Plugins podem falhar por várias razões, como quedas de servidor ou ataques à sua infraestrutura.
Negação de Serviço pelos Usuários
Às vezes, os próprios usuários ou seus computadores podem, sem querer, causar a indisponibilidade do serviço.
Exemplos de Mecanismos de Ataque
Pedidos Excessivos: Se os usuários enviarem muitos pedidos para um plugin rapidamente, isso pode sobrecarregar o servidor e levar à falha do serviço.
Entradas Maliciosas: Usuários podem enviar entradas deliberadamente criadas para explorar fraquezas na operação do plugin, fazendo-o travar.
Conclusão
Como vimos, existem várias ameaças na interação entre plugins e usuários nas plataformas LLM. Os usuários devem ficar atentos ao instalar e usar plugins, cientes de suas potenciais vulnerabilidades. Ao entender esses riscos, os usuários podem fazer escolhas mais informadas e proteger suas informações valiosas. Sempre escolha plugins de fontes confiáveis, cheque as avaliações e fique alerta contra atividades suspeitas.
Título: LLM Platform Security: Applying a Systematic Evaluation Framework to OpenAI's ChatGPT Plugins
Resumo: Large language model (LLM) platforms, such as ChatGPT, have recently begun offering an app ecosystem to interface with third-party services on the internet. While these apps extend the capabilities of LLM platforms, they are developed by arbitrary third parties and thus cannot be implicitly trusted. Apps also interface with LLM platforms and users using natural language, which can have imprecise interpretations. In this paper, we propose a framework that lays a foundation for LLM platform designers to analyze and improve the security, privacy, and safety of current and future third-party integrated LLM platforms. Our framework is a formulation of an attack taxonomy that is developed by iteratively exploring how LLM platform stakeholders could leverage their capabilities and responsibilities to mount attacks against each other. As part of our iterative process, we apply our framework in the context of OpenAI's plugin (apps) ecosystem. We uncover plugins that concretely demonstrate the potential for the types of issues that we outline in our attack taxonomy. We conclude by discussing novel challenges and by providing recommendations to improve the security, privacy, and safety of present and future LLM-based computing platforms.
Autores: Umar Iqbal, Tadayoshi Kohno, Franziska Roesner
Última atualização: 2024-07-26 00:00:00
Idioma: English
Fonte URL: https://arxiv.org/abs/2309.10254
Fonte PDF: https://arxiv.org/pdf/2309.10254
Licença: https://creativecommons.org/licenses/by/4.0/
Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.
Obrigado ao arxiv pela utilização da sua interoperabilidade de acesso aberto.
Ligações de referência
- https://llm-platform-security.github.io/chatgpt-plugin-eval
- https://github.com/llm-platform-security/chatgpt-plugin-eval/blob/main/other-language-interaction.pdf
- https://github.com/llm-platform-security/chatgpt-plugin-eval/blob/main/amzpro-interaction.pdf
- https://www.tirabeauty.com/product/srm-07-lrqaepziomd
- https://github.com/llm-platform-security/chatgpt-plugin-eval/blob/main/tira-uniket-interaction.pdf
- https://github.com/llm-platform-security/chatgpt-plugin-eval/blob/main/lexishopper-interaction.pdf
- https://github.com/llm-platform-security/chatgpt-plugin-eval/blob/main/tira-jio-interaction.pdf
- https://github.com/llm-platform-security/chatgpt-plugin-eval/blob/main/expedia-trip-klook-interaction.pdf
- https://github.com/llm-platform-security/chatgpt-plugin-eval/blob/main/autoInfra1-interaction.pdf
- https://github.com/llm-platform-security/chatgpt-plugin-eval/blob/main/chatsshplug-interaction.pdf
- https://github.com/llm-platform-security/chatgpt-plugin-eval/blob/main/chatsshplug-pdfexporter-interaction.pdf
- https://github.com/llm-platform-security/chatgpt-plugin-eval/blob/main/reflectnotes-interaction.pdf
- https://github.com/llm-platform-security/chatgpt-plugin-eval/blob/main/clinicaltrialradar-interaction.pdf
- https://github.com/llm-platform-security/chatgpt-plugin-eval/blob/main/magic-interaction.pdf
- https://github.com/llm-platform-security/chatgpt-plugin-eval/blob/main/magic-interaction-2.pdf
- https://github.com/llm-platform-security/chatgpt-plugin-eval/blob/main/tira-interaction.pdf
- https://github.com/llm-platform-security/chatgpt-plugin-eval/blob/main/playlistai-interaction.pdf
- https://github.com/llm-platform-security/chatgpt-plugin-eval/blob/main/aiagents-interaction.pdf
- https://www.kayak.com