Que signifie "Masquage de gradient"?

Table des matières

Le masquage de gradient, c'est quand un modèle a l'air plus sécurisé face à certaines attaques qu'il ne l'est vraiment. Ça arrive quand le processus de décision du modèle cache ses faiblesses. Les attaquants essaient de piéger le modèle en faisant de petits changements sur les données d'entrée, comme en ajoutant du bruit aux images.

Dans certaines défenses, les modèles mélangent différents résultats basés sur plusieurs versions bruitées de la même entrée. Même si ça peut sembler efficace, ça peut mener à du masquage de gradient. Les défauts cachés dans le modèle deviennent plus difficiles à voir, ce qui le rend plus fort contre les attaques, mais en réalité, il peut encore être vulnérable.

Quand les attaquants utilisent des techniques spécifiques pour exposer ces faiblesses, ils peuvent réduire significativement la précision du modèle. Ça veut dire que ce qui avait l'air d'une défense solide pourrait ne pas protéger le modèle aussi bien qu'on l'espérait.