Protegendo a Privacidade no Aprendizado Federado Vertical

Aprendizado Federado Vertical (VFL) permite que diferentes organizações trabalhem juntas para criar modelos de machine learning sem precisar compartilhar seus dados privados. No VFL, cada participante tem dados divididos por características, e não por amostras. Por exemplo, uma empresa de telefonia pode ter dados demográficos dos clientes, enquanto um serviço de streaming tem dados sobre quais programas esses clientes assistem. Elas podem colaborar para melhorar seus modelos sem ver as informações sensíveis uma da outra.

#A Necessidade de Privacidade

Embora o VFL seja projetado para proteger a privacidade, ainda existem riscos. Durante o processo de treinamento do modelo, que envolve enviar atualizações de um lado para o outro, atacantes podem encontrar maneiras de inferir informações privadas, como rótulos que estão ligados a dados sensíveis. Esses ataques são conhecidos como Ataques de Inferência de Rótulos. Tais ataques podem revelar informações críticas sobre indivíduos, como problemas de saúde ou detalhes financeiros, tornando vital a proteção desses dados.

#Tipos de Ataques de Inferência de Rótulos

Os ataques de inferência de rótulos podem ser categorizados em três tipos principais:

1. Ataque Passivo de Inferência de Rótulos: Nesse cenário, um atacante não toma ação direta durante o treinamento. Em vez disso, eles usam uma pequena quantidade de informações disponíveis publicamente ou dados auxiliares para melhorar seu modelo e fazer suposições educadas sobre os rótulos privados.

2. Ataque Ativo de Inferência de Rótulos: Aqui, o atacante assume um papel ativo ajustando seu modelo para coletar mais informações úteis do processo de treinamento. Alterando certos parâmetros, eles buscam obter melhores resultados de seu modelo, o que pode levar a inferências de rótulos mais precisas.

3. Ataque Direto de Inferência de Rótulos: Esse ataque envolve a análise de gradientes enviados do servidor durante o processo de treinamento. O atacante tenta reunir informações suficientes desses gradientes para inferir rótulos privados diretamente.

#Mecanismo de Defesa Proposto

Para combater os ataques de inferência de rótulos no VFL, um novo mecanismo de defesa foi proposto. Isso envolve duas estratégias principais:

1. Destilação de Conhecimento (KD): Essa técnica permite a extração de conhecimento de um modelo complexo (o professor) e sua transferência para um modelo mais simples (o aluno). Nesse caso, rótulos suaves são produzidos em vez de rótulos rígidos, dificultando a vida dos atacantes na hora de inferir informações sensíveis.

2. K-anonimato: Esse princípio garante que cada registro em um conjunto de dados parece semelhante a vários outros registros, tornando desafiador identificar qualquer pessoa especificamente. Ao aplicar essa técnica, o modelo cria um nível de incerteza em torno dos rótulos, melhorando a privacidade.

A combinação dessas duas estratégias busca dificultar para os atacantes inferirem corretamente os rótulos privados, enquanto ainda permite que o modelo mantenha sua eficácia.

#Avaliação do Mecanismo de Defesa

Para avaliar a eficácia desse mecanismo de defesa, testes extensivos foram realizados. Vários conjuntos de dados foram utilizados, incluindo coleções de imagens e textos. A eficácia da defesa proposta foi medida em relação aos diferentes tipos de ataques de inferência de rótulos mencionados anteriormente.

#Conjuntos de Dados Utilizados

1. CIFAR-10: Uma coleção de 60.000 imagens coloridas dividas em 10 classes.
2. CIFAR-100: Semelhante ao CIFAR-10, mas com 100 classes, tornando-se mais complexo.
3. CINIC-10: Uma versão estendida do CIFAR-10 com 120.000 imagens para aumentar a diversidade.
4. Yahoo! Answers: Um conjunto de dados de classificação de texto contendo uma variedade de categorias.
5. Criteo: Um conjunto de dados focado na previsão de taxas de cliques em anúncios.

#Métricas de Avaliação

Para avaliar o mecanismo de defesa, várias métricas foram usadas:

• Acurácia Top-1: A proporção de vezes que o modelo prevê corretamente o rótulo.
• Acurácia Top-5: A proporção de vezes que o rótulo correto aparece entre as cinco principais previsões.
• Taxa de Sucesso do Ataque Top-1: A porcentagem de rótulos corretamente adivinhados pelos atacantes.
• Taxa de Sucesso do Ataque Top-5: Semelhante à Taxa de Sucesso Top-1, mas considera as cinco principais adivinhações.

#Resultados Experimentais

Através de testes rigorosos, foi constatado que o mecanismo de defesa proposto diminuiu consideravelmente a eficácia dos ataques de inferência de rótulos.

#Resultados do Ataque Passivo de Inferência de Rótulos

Quando o ataque passivo foi realizado contra o modelo original, a taxa de sucesso dos atacantes foi notavelmente alta. No entanto, ao aplicar o mecanismo de defesa, houve uma redução significativa na taxa de sucesso do ataque, comprovando a eficácia da defesa.

#Resultados do Ataque Ativo de Inferência de Rótulos

No cenário do ataque ativo, os resultados indicaram que os atacantes não conseguiram obter uma vantagem significativa sobre o modelo usando o mecanismo de defesa. A aplicação da destilação de conhecimento e do K-anonimato adicionou incerteza suficiente aos rótulos, fazendo com que os atacantes tivessem dificuldades para fazer inferências precisas.

#Resultados do Ataque Direto de Inferência de Rótulos

Para o ataque direto, os testes mostraram que a defesa poderia efetivamente reduzir as taxas de sucesso do ataque significativamente, em comparação com cenários onde a defesa não estava em vigor. Mesmo que os atacantes analisassem gradientes, o mecanismo de defesa protegeu com sucesso as informações sensíveis dos rótulos.

#Comparação com Defesas Existentes

A defesa proposta também foi comparada a várias estratégias existentes, incluindo:

1. Gradientes Ruídos: Esse método adiciona ruído aleatório aos gradientes enviados durante o treinamento. Pode ser eficaz, mas muitas vezes impacta negativamente o desempenho do modelo.

2. Compressão de Gradientes: Isso diminui a quantidade de dados enviados durante o treinamento para proteger contra ataques. Embora ajude a reduzir o sucesso do ataque, pode não proteger totalmente contra todos os tipos de ataques.

3. Deep Learning com Preservação de Privacidade: Isso envolve randomizar gradientes e modificá-los antes de compartilhar. Embora possa mitigar alguns ataques, pode exigir uma alteração significativa dos dados que prejudica o desempenho do modelo.

4. SGD Discreto (Descida de Gradiente Estocástica): Esse método reduz a relevância de certos gradientes, mas não protege efetivamente contra todos os tipos de ataques.

Em todas as comparações, o novo mecanismo de defesa mostrou-se mais eficaz em preservar o desempenho do modelo enquanto fornece uma proteção substancial contra vários ataques de inferência de rótulos.

#Conclusão

O Aprendizado Federado Vertical representa uma abordagem promissora para machine learning colaborativo sem comprometer dados sensíveis. No entanto, o risco de ataques de inferência de rótulos continua a ser uma preocupação significativa. O mecanismo de defesa proposto, que combina destilação de conhecimento e k-anonimato, mostrou resultados fortes na redução da eficácia desses ataques enquanto mantém o desempenho geral do modelo. Esse é um passo crítico para garantir a privacidade em esforços de machine learning colaborativo.

#Trabalho Futuro

O desenvolvimento desse mecanismo de defesa não é o fim. Pesquisas futuras vão se concentrar em aprimorar suas capacidades para proteger contra tipos de ataques mais sofisticados e adaptar a abordagem a outras formas de Aprendizado Federado, como o Aprendizado Federado Horizontal, que tem seus próprios desafios únicos. O trabalho contínuo nessa área é essencial para avançar tecnologias de preservação de privacidade em machine learning.

Ao melhorar métodos de colaboração sem compartilhamento de dados, as organizações podem obter insights e melhorar seus modelos enquanto garantem que informações sensíveis permaneçam seguras.