Inferenza di Machine Learning Efficiente con Protezione della Privacy

Negli ultimi anni, il machine learning (ML) è diventato fondamentale in vari settori come la sanità, le auto a guida autonoma, la finanza e il marketing. Queste applicazioni generano grandi quantità di dati sui dispositivi all'edge, il che vuol dire che non sono sempre connessi a potenti server cloud. Questo sistema richiede un'elaborazione rapida per fornire risultati tempestivi. Tuttavia, man mano che i modelli ML diventano più complessi, necessitano di più risorse di calcolo, spazio di archiviazione e memoria, che possono essere limitati all'edge ma facilmente disponibili nel cloud. Pertanto, lo scenario abituale prevede un proprietario di dati all'edge che invia i dati a un server cloud, che ospita il modello ML, per l'elaborazione.

Questa disposizione presenta alcune sfide. Inviare dati sensibili al cloud può compromettere la privacy e la comunicazione tra il proprietario dei dati e il server cloud può diventare un collo di bottiglia, rallentando l'intero processo. Anche se sono stati proposti metodi per preservare la privacy in passato, spesso richiedono comunque comunicazioni estese, il che non è l'ideale per applicazioni sensibili al tempo.

#Inferenza ML Gerarchica

Una soluzione promettente è quella di utilizzare un'impostazione gerarchica. In questo modello, i dati rimangono all'edge e non devono essere inviati al server cloud. Invece, i server edge-situati più vicino alle fonti di dati-utilizzano un modello ML pre-addestrato dal cloud per eseguire inferenze direttamente sui dati. Questo riduce efficacemente la comunicazione e aiuta a proteggere i dati del cliente e il modello del server cloud.

Nonostante il potenziale dell'inferenza ML gerarchica, non tutte le risorse all'edge sono state completamente sfruttate. È qui che entra in gioco l'inferenza distribuita del modello. Questo approccio prevede di suddividere il modello ML in parti più piccole distribuite su più server edge. Quando un cliente invia i propri dati, solo una piccola parte del modello opera inizialmente su di essi, passando le informazioni elaborate da un server edge all'altro fino a completare l'inferenza.

#Design per la Preservazione della Privacy

L'obiettivo del sistema progettato è fornire un'inferenza ML rapida ed efficiente garantendo che i dati del cliente e il modello ML rimangano privati. Il design si compone di due fasi principali: offline e online. La fase offline è pensata per preparare tutte le informazioni e i calcoli necessari, così che la fase online possa concentrarsi sull'elaborazione dei dati di input in modo rapido.

Nella fase offline, diverse attività avvengono senza coinvolgere i dati sensibili del cliente. Ad esempio, il server cloud condivide parti del modello ML con i server edge mantenendo privati i dati. Questo passaggio assicura che la comunicazione durante la fase online sia minima.

Durante la fase online, il cliente invia dati di input mascherati al primo server edge, che inizia l'elaborazione usando la parte allocata del modello ML. Ogni server edge elabora la propria parte assegnata e inoltra i risultati al server successivo. Mantenendo l'elaborazione all'edge e minimizzando la comunicazione con il cloud, il sistema garantisce che i dati sensibili non vengano esposti e che la latenza rimanga bassa.

#Tecniche per Privacy ed Efficienza

Per mantenere la privacy migliorando l'efficienza, il sistema impiega diverse tecniche crittografiche:

1. Condivisione Segreta Additiva: Questo metodo suddivide un segreto in più quote, quindi nessuna singola quota rivela i dati reali. Questo consente a diverse parti di eseguire calcoli senza conoscere i dati originali.

2. Crittografia Omoomorfica: Questa tecnica permette di eseguire calcoli su dati crittografati, il che significa che i dati possono rimanere privati pur essendo elaborati.

3. Circuiti Mascherati: Questo è un metodo per eseguire calcoli su dati crittografati. Permette a una parte di calcolare una funzione senza apprendere nulla sugli input dell'altra parte al di là del risultato.

4. Trasferimento Oblivioso a Tre Parti: Questo protocollo assicura che una parte possa ottenere informazioni da un'altra senza rivelare quale pezzo di informazione vogliono. Questo è particolarmente essenziale per mantenere la privacy durante il trasferimento dei dati tra i server.

Combinando queste tecniche, il sistema proposto può eseguire inferenze ML in modo efficace senza compromettere la privacy delle informazioni sensibili.

#Lavori Correlati sulla Preservazione della Privacy nel ML

I protocolli ML che preservano la privacy possono essere suddivisi principalmente in due tipi: quelli che seguono un modello client/server e quelli che sfruttano un approccio gerarchico. Nei modelli client/server, i proprietari dei dati inviano le loro informazioni ai server cloud per l'elaborazione, il che può sollevare preoccupazioni sulla privacy perché i dati sono esposti durante la trasmissione.

Approcci precedenti, come CryptoNets e lavori simili, puntavano a migliorare questo modello introducendo crittografia omomorfica e proteggendo i dati inviati. Tuttavia, questi metodi tendevano ancora a lottare con alti costi di comunicazione, specialmente quando erano coinvolti grandi dataset.

D'altra parte, i protocolli gerarchici mirano a mitigare questi problemi consentendo ai server edge di eseguire i calcoli necessari mantenendo la privacy. Protocolli come ABY3 e SecureNN hanno affrontato più parti coinvolte nell'inferenza ML ma spesso richiedono interazioni e comunicazioni significative durante l'elaborazione, portando a ritardi.

#Il Modello di Sistema e Impostazione

Il sistema progettato opera sotto un'impostazione a tre parti che include un server cloud, il cliente e i server edge. I clienti inviano dati ai server edge piuttosto che direttamente al cloud. I server edge elaborano quindi questi dati utilizzando un modello ML pre-addestrato dal server cloud.

Ogni cluster edge consiste in alcuni server edge che collaborano per elaborare parti del modello ML. Questo clustering consente di dividere i compiti, aumentando così l'efficienza complessiva del sistema.

#Modello di Minaccia

Tutte le parti coinvolte sono considerate semi-oneste, il che significa che aderiscono al protocollo ma potrebbero cercare di raccogliere informazioni che possono ottenere. Il design tiene conto del fatto che alcuni server edge potrebbero colludere, ma sono in atto misure per prevenire che una singola parte ottenga accesso a informazioni sensibili del cliente o ai parametri del modello ML.

#Inferenza Distribuita del Modello

L'obiettivo principale del sistema di inferenza ML è calcolare l'output dei dati del cliente utilizzando un modello ML mantenendo il processo privato. Il modello ML consta di vari strati che possono includere sia operazioni lineari che non lineari.

Il protocollo è progettato in modo che la maggior parte dei calcoli avvenga nella fase offline, riducendo il carico durante la fase online. In questo modo, quando inizia la fase online, il sistema può concentrarsi esclusivamente sulla produzione di risultati senza ulteriori sforzi pesanti.

#Analisi di Privacy e Comunicazione

Il sistema garantisce la privacy attraverso vari meccanismi di sicurezza in atto durante la comunicazione tra il server cloud, il cliente e i server edge. La correttezza del processo di inferenza e la sicurezza contro potenziali violazioni sono assicurate attraverso un design accurato e scenari simulati.

#Valutazione delle Prestazioni

Per valutare le prestazioni del protocollo delineato, sono stati condotti esperimenti per misurare il tempo impiegato per l'inferenza ML sia nelle fasi online che offline rispetto ai metodi esistenti. Sono state testate più impostazioni utilizzando vari modelli ML e dataset per garantire una valutazione approfondita.

I risultati hanno mostrato miglioramenti significativi sia nelle fasi offline che online, dimostrando tempi di elaborazione più rapidi mantenendo la privacy. I guadagni diventano particolarmente evidenti man mano che vengono aggiunti più server edge, poiché il modello può distribuire l'elaborazione in modo più efficace.

#Conclusione

Il sistema progettato sfrutta la potenza dell'elaborazione distribuita e delle tecniche crittografiche per fornire una soluzione di inferenza ML che preserva la privacy. Utilizzando l'inferenza distribuita del modello all'edge, riduce l'overhead di comunicazione e migliora la velocità proteggendo i dati sensibili. I risultati sperimentali indicano che questo approccio supera significativamente le metodologie precedenti sia in termini di privacy che di efficienza, rendendolo un contributo prezioso nel campo del machine learning e della privacy dei dati.