Analyser les connaissances adversariales dans les attaques de machine learning

Les exemples adverses sont des entrées conçues pour tromper les modèles d'apprentissage automatique et les amener à faire des prédictions incorrectes. Ce phénomène a été étudié pendant presque dix ans, mais il n'y a toujours pas assez de clarté sur ce que savent les Attaquants lorsqu'ils créent ces exemples. Ce manque contribue à un domaine de recherche compliqué avec des modèles difficiles à comparer.

Notre travail se concentre sur la reconnaissance d'images et introduit un cadre pour analyser ce que savent les attaquants lorsqu'ils essaient de tromper les modèles. Nous présentons également une configuration de type jeu pour standardiser la manière dont ces attaques sont menées. En examinant les attaques récentes dans le domaine de la classification d'images, nous classifions les Connaissances que possèdent les attaquants dans notre cadre. Cette catégorisation confirme certaines idées existantes, comme l'importance cruciale de la connaissance du modèle ciblé pour créer des attaques réussies. Nous découvrons aussi que les attaques pouvant se transférer d'un modèle à un autre ne sont peut-être pas aussi difficiles qu'on le pensait auparavant.

À mesure que les modèles d'apprentissage automatique deviennent plus courants dans des domaines importants comme la santé et les voitures autonomes, les conséquences des échecs de modèles peuvent être graves. Bien qu'il existe des recherches solides sur le déploiement sûr de ces modèles, les solutions restent souvent théoriques et difficiles à mettre en pratique. Malgré cela, l'utilisation de l'apprentissage automatique continue d'augmenter, ce qui soulève des inquiétudes importantes concernant les vulnérabilités de ces modèles face aux attaques, qu'elles soient connues ou non.

Les attaques adverses ont vu le jour en 2014 lorsque des chercheurs ont montré que de légers changements dans des images pouvaient amener un modèle à faire des prédictions erronées sans que l'humain ne remarque de changements. Ces attaques sont préoccupantes car elles nécessitent peu de compétences pour être réalisées, rendant les modèles de faciles cibles.

Des recherches antérieures montrent que les attaquants ont souvent un avantage, car de nombreuses attaques peuvent fortement affecter les performances du modèle. Bien que certaines méthodes de défense existent, comme l'entraînement des modèles avec des exemples adverses ou l'utilisation d'un mélange de plusieurs modèles, ces défenses peinent encore à offrir une protection solide. Une autre voie de recherche vise à construire des défenses qui peuvent être prouvées robustes, mais celles-ci peuvent être impratiques car elles nécessitent beaucoup plus de puissance de calcul que ce qui est raisonnable.

Actuellement, il n'existe pas de méthode standardisée pour évaluer l'efficacité des défenses contre les attaques adverses. Cette absence conduit à une bataille continue où attaquants et Défenseurs s'affrontent à l'aide de résultats expérimentaux. Pour changer ce cycle, nous avons besoin d'un solide cadre théorique qui fournisse une norme pour mesurer la performance et l'efficacité dans ce domaine de recherche.

Notre étude souligne la nécessité d'un regard systématique sur ce que savent les attaquants à propos des Modèles de menace. Cette connaissance est essentielle pour définir la gravité d'une attaque et n'a pas reçu l'attention adéquate dans les recherches précédentes. Avoir une compréhension claire des capacités d'un attaquant est crucial. Sans cela, défendre contre des attaques sophistiquées devient encore plus difficile.

Nous fournissons une structure claire pour catégoriser et comprendre diverses attaques et leurs modèles de menace. En examinant également les connaissances que les attaquants ont sur les modèles, nous apportons de nouvelles perspectives sur la manière dont cette connaissance impacte la performance des attaques. Nos conclusions confirment des points de vue largement acceptés sur la manière dont certaines types d'informations sont critiques pour augmenter le taux de réussite d'une attaque.

#Recherche Passée

Nous remarquons également que les travaux antérieurs sur les attaques adverses n'ont pas suffisamment pris en compte les connaissances et les capacités des attaquants. La plupart des recherches se sont concentrées sur des situations où les attaquants avaient beaucoup de connaissances sur les modèles qu'ils ciblaient. Cette focalisation était raisonnable à l'époque, mais à mesure que le domaine a évolué, il s'est orienté vers des scénarios d'attaque plus réalistes.

Les recherches plus anciennes ont examiné différents aspects du problème, mais elles ne prenaient souvent pas en compte ce que les attaquants savent réellement ou peuvent accéder lorsqu'ils essaient de mettre en œuvre leurs plans. Cet oubli limite la pertinence réelle de nombreuses études passées. Notre cadre vise à combler cette lacune en fournissant une nouvelle perspective sur les attaques adverses et le rôle des connaissances adverses.

Dans notre travail, nous approfondissons la compréhension des attaquants lorsqu'ils lancent une attaque contre un modèle. Cela inclut l'accès aux données et aux ressources informatiques, ainsi que la connaissance du code et des méthodes d'entraînement utilisées. En créant une meilleure compréhension des informations qu'un attaquant peut utiliser, nous pouvons tracer comment ces informations impactent la réussite de l'attaque.

#Comprendre la Connaissance de l'Adversaire

Nous introduisons une nouvelle manière de représenter les informations disponibles pour les attaquants par l'utilisation des "Oracles d'Extraction d'Information" (IEOs). Ces oracles agissent comme des outils pour aider à définir quel type d'information un attaquant possède et comment il peut l'utiliser. Les IEOs aident à convertir des concepts vagues en définitions précises qui peuvent être utilisées dans les modèles de menace.

Au lieu d'utiliser des termes flous pour décrire ce que peuvent faire les attaquants, nous pouvons maintenant utiliser ces oracles pour capturer clairement les connaissances et les capacités de l'attaquant. Cette approche permet une structure plus organisée pour examiner divers modèles de menace, facilitant la visualisation de leurs relations mutuelles.

Les IEOs peuvent être classés en différentes catégories en fonction des connaissances qu'ils incluent. Cela aide à construire un cadre qui peut analyser et comparer différents types d'attaques de manière plus efficace.

#Types d'Information

Nous pouvons classer les connaissances impliquées dans la création d'exemples adverses en trois catégories principales :

1. Informations du Défenseur : Cela inclut des détails que les défenseurs ont sur les modèles, comme les paramètres du modèle.
2. Informations Générées : C'est la connaissance produite pendant les phases d'entraînement et d'évaluation du modèle.
3. Informations Publiques : Cela inclut tout ce qui est disponible pour le public, comme les ensembles de données ou les modèles pré-entraînés.

En catégorisant clairement ces informations, nous améliorons notre chance de reconstruire un modèle de menace complet qui peut être utilisé pour les stratégies d'attaque et de défense.

#Représentations Visuelles de la Connaissance

Nous utilisons des "diagrammes de Hasse" pour montrer comment différents types d'informations sont connectés. Ces diagrammes aident à illustrer visuellement les relations entre divers aspects d'une attaque et mettent en évidence des facteurs significatifs qui peuvent influencer son efficacité. Nos diagrammes étendent les utilisations typiques en mathématiques pour les appliquer au domaine des attaques adverses.

#Nouveau Cadre de Jeu

Nous nous inspirons de la théorie des jeux en cadrant le problème des attaques adverses comme une sorte de jeu entre un attaquant et un défenseur. Dans ce cadre, nous définissons des rôles et des actions spécifiques pour les deux parties, ce qui aide à clarifier comment les attaques se déroulent.

Dans notre jeu de sécurité, l'attaquant essaie de créer des exemples adverses tandis que le défenseur tente d'identifier et de se protéger contre ces attaques. Cette configuration aide non seulement à expliquer la dynamique entre les deux parties mais aussi à mesurer le succès des attaques.

#Mesurer le Succès des Attaques

Nous définissons le succès dans notre jeu comme la capacité de l'attaquant à rester indétecté tout en atteignant ses objectifs, comme provoquer des classifications erronées. Pour mesurer ce succès, nous introduisons un nouveau système de points qui examine la performance de l'attaque par rapport à des échantillons bénins.

Ce système de points fournit une vue plus claire de l'efficacité d'une attaque, même comparée à des modèles qui performent déjà mal.

#Application aux Attaques Existantes

Pour appliquer notre cadre de manière pratique, nous analysons une méthode d'attaque bien connue appelée Descente de Gradient Projetée (PGD). En décomposant cette attaque en ses composants et en analysant son fonctionnement, nous pouvons recueillir des informations sur son efficacité et la base de connaissances de l'attaquant.

Nos découvertes suggèrent que les attaquants n'ont pas besoin d'avoir des connaissances étendues sur leurs modèles cibles pour créer des attaques réussies. Au lieu de cela, avoir accès à d'autres formes d'information, comme des échantillons de données, peut également mener à des stratégies adverses efficaces.

#Le Paysage de la Recherche Adverse

Nous résumons nos conclusions basées sur une revue exhaustive des études récentes sur les attaques adverses dans la classification d'images. Notre recherche indique plusieurs tendances importantes :

• Les attaques qui utilisent plusieurs types de connaissances sont souvent plus réussies.
• Les modèles défendus peuvent parfois résister mieux aux attaques que ceux qui ne sont pas défendus, mais ils ne sont toujours pas complètement sécurisés.
• Les attaques transférables, qui peuvent être appliquées à différents modèles, ne sont peut-être pas aussi complexes qu'on le pensait auparavant.

Ces informations soulignent la nécessité d'une connaissance plus approfondie dans le domaine des exemples adverses pour améliorer les mesures de sécurité globales.

#Conclusion

Dans ce travail, nous formalisons l'étude des connaissances adverses liées aux attaques sur les modèles de classification d'images. Nous catégorisons la recherche existante dans un cadre plus clair, ce qui peut aider les études futures dans ce domaine. Notre travail vise à améliorer la manière dont les chercheurs décrivent leurs modèles de menace et évaluent l'efficacité de diverses méthodes.

En déplaçant le focus vers la compréhension de ce que savent les attaquants, nous espérons améliorer la capacité des défenseurs à créer des stratégies efficaces contre les attaques adverses. Nos découvertes indiquent que sans une compréhension claire du paysage adversaire et des informations disponibles, tant les attaquants que les défenseurs sont désavantagés.

À l'avenir, la recherche continue doit mettre l'accent sur de meilleurs cadres pour évaluer les attaques, surtout contre les modèles défendus. Ce focus aidera à construire une fondation plus fiable pour les avancées actuelles et futures en matière de sécurité des apprentissages automatiques.