Améliorer la vitesse et la confidentialité dans l'apprentissage automatique

À mesure que l'apprentissage machine devient de plus en plus courant dans des domaines comme la santé, la reconnaissance faciale et la finance, le besoin de garder les données sensibles en sécurité grandit. Une façon de protéger ces données tout en les utilisant pour l'analyse, c'est à travers une méthode appelée Cryptographie Homomorphe Complète (FHE). Cette technique permet d’effectuer des calculs sur des données chiffrées sans avoir besoin de les déchiffrer d'abord, ce qui aide à maintenir la vie privée.

Cependant, FHE a un gros inconvénient : ça peut être beaucoup plus lent que les calculs normaux. Ce ralentissement peut atteindre cinq fois plus lent ! La principale raison de ce retard, c'est que les opérations non-polynomiales, comme ReLU (Rectified Linear Unit) et MaxPooling, qui sont souvent utilisées dans les modèles d’apprentissage machine, ne sont pas prises en charge directement par FHE. Pour contourner cela, les chercheurs remplacent souvent ces opérations par des approximations polynomiales qui peuvent être traitées sous FHE, mais ce remplacement peut introduire des erreurs.

Dans cet article, on présente une nouvelle approche qui vise à accélérer l'analyse de données privées tout en gardant une haute précision. On suggère d'utiliser des approximations polynomiales de bas degré au lieu de celles de haut degré. En plus, on introduit quatre techniques pour améliorer les performances des modèles qui utilisent ces approximations sous FHE.

#Le défi des opérations non-polynomiales

Les opérations non-polynomiales sont essentielles dans beaucoup de modèles d'apprentissage machine. Des opérations comme ReLU permettent aux modèles d'apprendre en introduisant de la non-linéarité, ce qui aide à gérer des schémas complexes dans les données. Cependant, quand on utilise FHE, ces opérations doivent être traitées avec soin. Des travaux précédents ont exploré deux grandes stratégies :

1. Approches hybrides : Ça implique d'utiliser un mélange de FHE et d'autres méthodes sécurisées pour traiter les opérations non-polynomiales. Mais ça vient avec ses complications, surtout à cause des délais de communication introduits quand les données sont transférées entre différentes méthodes.

2. Approximations polynomiales : Cette méthode remplace les opérations non-polynomiales par des fonctions polynomiales qui peuvent être calculées sous FHE. Bien que cette approche puisse être efficace, elle entraîne souvent un compromis entre précision et vitesse de traitement. Les fonctions polynomiales à haute précision nécessitent généralement des degrés élevés, ce qui prend beaucoup plus de temps à calculer. Les fonctions de bas degré sont plus rapides mais peuvent entraîner des pertes de précision importantes.

#Notre solution : Approximations polynomiales de bas degré

On propose un nouveau cadre qui se concentre sur le remplacement des opérations non-polynomiales par des approximations polynomiales de bas degré. Notre approche cherche à rendre l'inférence d'apprentissage machine basée sur FHE plus rapide tout en maintenant la précision. On fait cela en intégrant quatre techniques clés :

1. Ajustement des coefficients (CT) : Ça implique de raffiner les coefficients des approximations polynomiales en fonction de la distribution des données d'entrée avant l'entraînement. En faisant cela, on peut atteindre une plus haute précision sans avoir besoin d'un réentraînement extensif.

2. Approximation progressive (PA) : Au lieu de remplacer tous les opérateurs non-polynomiaux en même temps, on suggère de les remplacer un par un. Après chaque remplacement, on ajuste le modèle, ce qui aide à préserver la précision et à assurer la convergence pendant l'entraînement.

3. Entraînement alternatif (AT) : Dans cette technique, on alterne l'entraînement entre les approximations polynomiales et les opérateurs linéaires. Cette séparation aide à éviter les conflits qui peuvent survenir pendant l'entraînement et garantit que les deux peuvent être optimisés efficacement.

4. Mise à l'échelle dynamique et statique (DS/SS) : Pendant la phase d'entraînement, on ajuste les valeurs d'entrée des approximations polynomiales de manière dynamique pour optimiser les performances. Une fois l'entraînement terminé, on applique une mise à l'échelle statique basée sur la valeur d'entrée maximale pour assurer que le modèle fonctionne efficacement lors du déploiement réel.

#Résultats de notre approche

Nos expériences montrent l'efficacité de notre cadre en utilisant des modèles bien connus comme ResNet-18 et VGG-19. Appliquées à ces modèles, surtout dans des tâches complexes comme celles trouvées dans le dataset ImageNet, nos techniques ont surpassé les méthodes précédentes qui utilisaient des approximations polynomiales de haut degré.

#Résultats clés

• La combinaison de nos techniques a entraîné des améliorations notables tant en précision qu'en vitesse de traitement. Par exemple, alors qu'une Approximation polynomiale de 27 degrés conduisait auparavant à une haute précision, notre cadre a atteint des niveaux de précision similaires avec un polynôme de degré significativement plus bas, ce qui a conduit à des calculs plus rapides.

• L'efficacité de la méthode était également constante à travers différents datasets, montrant qu'elle est robuste et peut bien s'adapter à divers défis.

#Évaluations spécifiques

Pour s'assurer que notre approche est à la fois efficace et efficiente, nous avons réalisé diverses évaluations sur plusieurs datasets :

• VGG-19 sur CiFar-10 : Les résultats ont montré que les approches hybrides ne pouvaient pas rivaliser avec nos méthodes proposées, indiquant que nos approximations polynomiales de bas degré étaient de loin plus efficaces pour maintenir une haute précision avec une latence réduite.

• ResNet-18 sur ImageNet-1k : Cela a montré que notre cadre réalisées systématiquement des améliorations en précision même avec des degrés d'approximation polynomiale plus bas par rapport aux méthodes traditionnelles.

#Conclusion

Ce travail montre qu'il est possible d'atteindre une inférence d'apprentissage machine rapide et privée grâce à des approximations polynomiales de bas degré tout en maintenant la précision. Les techniques que nous avons proposées facilitent une approche systématique pour optimiser à la fois le processus d'entraînement et la performance des modèles fonctionnant sous Cryptographie Homomorphe Complète.

En intégrant l'ajustement des coefficients, l'approximation progressive, l'entraînement alternatif et les méthodes de mise à l'échelle, nous avons réussi à combler le fossé entre protection de la vie privée et efficacité computationnelle. Ce nouveau cadre représente une avancée prometteuse dans le défi continu de sécuriser les données sensibles tout en utilisant des techniques avancées d'apprentissage machine.

Les recherches futures se concentreront sur l'optimisation supplémentaire de ces techniques et l'exploration de leur applicabilité à d'autres modèles complexes d'apprentissage machine et datasets. On pense que ce travail ouvre de nouvelles opportunités pour l'apprentissage machine préservant la vie privée et encourage l'investigation supplémentaire dans le traitement efficace des données sous cryptage.