Um Novo Método para Proteger Dados em Aprendizado de Máquina

O uso generalizado de sistemas de Aprendizado de Máquina (ML) levantou questões importantes sobre como proteger dados pessoais. À medida que os modelos de ML requerem grandes quantidades de dados de treinamento, eles podem levar a problemas de privacidade, especialmente quando informações sensíveis estão envolvidas. Tecnologias de aprimoramento de privacidade (PETs) fornecem métodos para salvaguardar dados, mas desafios permanecem, especialmente em manter os dados confidenciais durante processos de aprendizado distribuído. Este artigo apresenta um novo método projetado para proteger dados e parâmetros de modelo de uma maneira que atenda aos requisitos legais, independentemente das técnicas específicas de ML sendo utilizadas.

#A Necessidade de Proteção de Dados

À medida que mais organizações adotam o ML, são obrigadas a coletar, armazenar e compartilhar vastas quantidades de informações. Isso chamou a atenção dos reguladores em todo o mundo, incluindo aqueles da União Europeia, onde leis rígidas de proteção de dados como o Regulamento Geral sobre a Proteção de Dados (GDPR) estão em vigor. Essas leis se concentram em adotar tecnologias que ajudarão as organizações a manter a privacidade dos dados dos indivíduos. Nos últimos anos, muitos esforços foram feitos para criar PETs voltadas para alcançar a privacidade no treinamento distribuído de ML.

Apesar desses esforços, várias ameaças à privacidade e à confidencialidade continuam desafiando como os dados de treinamento e os modelos de ML são processados e comunicados. Como novos métodos para identificar e reduzir esses riscos à privacidade ainda estão sendo desenvolvidos, as organizações devem garantir que suas práticas de aprendizado distribuído estejam em conformidade com os regulamentos de privacidade, especialmente quando dados pessoais estão envolvidos.

#Nossa Solução Proposta

Este artigo introduz um novo método de proteção de dados voltado para proprietários de dados que desejam manter seus conjuntos de dados de treinamento e parâmetros de ML privados, independentemente das arquiteturas ou estratégias de treinamento específicas sendo empregadas. Os proprietários de dados precisam de opções eficazes que estejam em conformidade com os regulamentos.

Para enfrentar esse desafio, fundimos técnicas de randomização com um método único de representação de dados chamado Hash-Comb. Essa abordagem se concentra em proteger o Aprendizado de Máquina distribuído sem comprometer a conformidade regulatória.

As principais características deste novo método incluem:

• Uma maneira simples, mas eficiente, de alcançar o nível de privacidade necessário para os parâmetros do modelo de ML e dados de treinamento, introduzindo ruído aleatório.
• Um protocolo distribuído baseado em compartilhamento secreto para integrar facilmente nosso método com estruturas existentes para aprendizado colaborativo.
• Suporte para manter tanto os dados quanto os parâmetros do modelo confidenciais, independentemente de estarem sendo transmitidos ou armazenados, utilizando funções de hash padrão que estão em conformidade com os regulamentos.

Nossos testes revelam que este método é tanto confiável quanto preserva a precisão do processo de aprendizado.

#Contexto

Para entender os riscos à privacidade associados ao ML, vamos olhar para uma tarefa básica de ML, como classificar itens em categorias específicas. Quando não temos acesso ao conjunto de dados completo, trabalhamos com uma amostra e criamos uma função de classificação parcial. Isso nos permite treinar um modelo de ML supervisionado. Na prática, o modelo pode ser usado para classificar novos dados à medida que se tornam disponíveis.

No entanto, esse processo de treinamento tem riscos de privacidade. Por exemplo, se um atacante puder deduzir entradas dos dados de treinamento analisando os resultados, isso representa uma ameaça séria. Para minimizar esse risco, queremos garantir que, independentemente do que um observador possa aprender com o processo, deve ser a mesma informação que obteriam se estivessem olhando para qualquer outro modelo treinado em uma amostra diferente.

Duas décadas atrás, o conceito de Privacidade Diferencial foi introduzido para ajudar a avaliar quão bem a privacidade está sendo mantida durante o processamento de dados. A ideia é adicionar ruído aleatório aos conjuntos de dados para que, mesmo que alguém tente reverter a engenharia dos dados, não será possível recuperar os dados originais com precisão.

#Tipos de Privacidade Diferencial

A privacidade diferencial vem em várias formas:

1. Privacidade Diferencial Não Interativa: Este método adiciona ruído aleatório a um conjunto de dados de treinamento existente para produzir uma nova versão que obscurece entradas específicas, mantendo ainda algum nível de precisão.

2. Privacidade Diferencial Interativa: Esta abordagem ajusta a quantidade de ruído adicionada com base no contexto de conjuntos de dados existentes. O objetivo é minimizar violações de privacidade enquanto mantém a utilidade dos dados para treinamento.

3. Privacidade Diferencial Renyi: Este é um conceito mais recente que se concentra em quantificar a privacidade examinando a relação entre o ruído adicionado aos conjuntos de dados e as informações que podem vazar potencialmente sobre eles.

Nosso método utiliza essas ideias para proteger efetivamente os dados de treinamento e os parâmetros do modelo.

#A Importância da Quantização

A quantização é o processo de transformar valores de dados contínuos em valores discretos, tornando-os mais fáceis de gerenciar e analisar. Esta técnica é vital para alcançar privacidade no aprendizado distribuído, bem como para melhorar a eficiência da comunicação.

Dentro do contexto do nosso método, a quantização envolve três etapas principais:

#1. Estabelecendo um Intervalo de Quantização

Isso significa determinar o intervalo de valores a serem quantizados com base nos dados originais. Se não ampliarmos o intervalo, detalhes sensíveis podem ser inferidos a partir das saídas quantizadas, arriscando a privacidade.

#2. Selecionando Níveis de Quantização

Nesta etapa, uma seleção aleatória de níveis de quantização é aplicada aos valores que estão sendo processados. Essa aleatoriedade é essencial para adicionar uma camada de privacidade.

#3. Calculando Valores Quantizados

Finalmente, computamos as versões quantizadas dos pontos de dados. Cada ponto de dados corresponde a uma lista de valores quantizados, ajudando a mascarar a informação original.

#Representação Multi-Hash

Nossa abordagem envolve a criação de uma representação multi-hash a partir dos valores quantizados dos parâmetros do modelo de ML. Isso significa que, em vez de enviar valores de parâmetro brutos, que podem expor detalhes sensíveis, enviamos versões hash que mantêm a confidencialidade.

A hashagem acontece em cada fase do processo de aprendizado federado, garantindo que, quando modelos locais enviam seus parâmetros a uma unidade central, o façam de maneira segura e sem revelar informações sensíveis a partes indesejadas.

A codificação dos parâmetros é determinada por como os valores se encaixam nos canais de quantização definidos. A saída final da codificação é um valor hash representando o parâmetro aproximado.

#Compartilhamento Seguro de Parâmetros

Para garantir que todos os participantes no processo de treinamento possam concordar sobre os parâmetros de quantização sem revelar informações sensíveis, usamos uma técnica chamada compartilhamento secreto de Shamir. Essa técnica permite que grupos de partes compartilhem informações de forma segura, de modo que apenas um subconjunto possa reconstruí-las, protegendo assim a privacidade.

O protocolo inclui várias etapas:

#Eleição do Coordenador

Um nó coordenador é selecionado para gerenciar o compartilhamento de parâmetros e decisões relacionadas ao processo de quantização.

#Compartilhamento de Intervalo Local

Cada participante compartilha seus parâmetros locais usando a técnica de compartilhamento secreto. Isso garante que os valores individuais permaneçam ocultos enquanto ainda permite a tomada de decisões coletivas.

#Configuração de Quantização

O coordenador então determina quantos níveis de quantização serão utilizados e seleciona aleatoriamente quais níveis serão aplicados.

#Compartilhamento de Hiperparâmetros

Finalmente, o coordenador compartilha os parâmetros relacionados às quantizações sem revelar nenhum dado local.

Esse processo de compartilhamento é projetado para manter a confidencialidade e cumprir os regulamentos de privacidade.

#Abordando Riscos de Ataque

Embora nosso método forneça fortes proteções à privacidade, ainda há um risco de que partes maliciosas possam tentar adivinhar os valores compartilhados por meio de tentativas de força bruta. Ao aumentar a complexidade dos valores compartilhados, protegemos ainda mais contra esses ataques.

Por exemplo, usar um nível de segurança de 128 bits torna impraticável para atacantes adivinharem os valores com a tecnologia atual. Esse nível de complexidade é considerado suficiente para desencorajar tentativas de força bruta de quebrar os valores hash.

#Experimentos e Resultados

Para validar nosso método, realizamos experimentos treinando modelos de ML usando dados codificados com nosso sistema Hash-Comb. Usamos vários conjuntos de dados para avaliar o desempenho e a preservação da privacidade.

#Descrições dos Conjuntos de Dados

1. Conjunto de Dados de Spam: Este conjunto de dados contém mensagens de e-mail rotuladas como "spam" ou "não spam". Ele ajuda a demonstrar a capacidade de classificar dados textuais de forma eficaz.

2. Conjunto de Dados de Tráfego de IoT: Este conjunto de dados envolve dados de tráfego de rede de vários dispositivos da Internet das Coisas, permitindo que avaliemos o método em um ambiente mais complexo.

3. Conjunto de Dados de Doenças Cardiovasculares: Este conjunto de dados inclui registros de pacientes com várias características que podem potencialmente indicar riscos à saúde, fornecendo um cenário útil para testes.

#Treinamento do Modelo

Empregamos um modelo de Perceptron de Múltiplas Camadas (MLP) para realizar nossos experimentos. A arquitetura do MLP utilizou várias camadas ocultas e foi otimizada usando Gradiente Descendente Estocástico (SGD).

#Treinamento Monolítico

Em nossos testes iniciais, treinamos o modelo de maneira padrão, avaliando a precisão e o desempenho dos resultados em comparação com benchmarks conhecidos.

#Aprendizado Federado

Então, replicamos o processo de treinamento monolítico em um framework de aprendizado federado, onde múltiplas instâncias de MLP comunicavam-se com uma unidade central. Cada instância treinava em uma parte dos dados, compartilhava seus parâmetros de modelo e permitia a agregação do aprendizado em um modelo global.

#Comparação de Desempenho

Comparamos nossa abordagem Hash-Comb com métodos tradicionais de privacidade diferencial. Os resultados indicaram que nosso método forneceu melhor precisão e velocidade de aprendizado sem comprometer a privacidade.

#Conclusão

Desafios atuais em privacidade de dados dentro de sistemas de ML demandam soluções inovadoras. Nosso novo método combina efetivamente quantização aleatória com técnicas de compartilhamento seguro para proteger dados e parâmetros do modelo. Os resultados de nossos experimentos demonstram que essa abordagem não apenas mantém a privacidade, mas também melhora o desempenho.

À medida que as organizações continuam a implementar aprendizado de máquina em seus processos, soluções como a nossa serão essenciais para atender às obrigações legais enquanto ainda se beneficiam do poder das informações baseadas em dados. Soluções de privacidade aprimorada garantem que os usuários possam aproveitar os benefícios do ML sem arriscar suas informações pessoais. Esse equilíbrio entre privacidade e utilidade desempenhará um papel crucial no futuro das aplicações baseadas em dados.