Nouvelles menaces en apprentissage automatique : attaques de détournement de modèle

L'apprentissage automatique a fait d'énormes progrès dans plein de domaines, comme la reconnaissance faciale et la génération de texte. Mais ces avancées ont aussi amené de nouveaux types d'attaques. Une attaque récente s'appelle l'attaque par détournement de modèle, qui soulève des inquiétudes sur la responsabilité et la mauvaise utilisation des ressources. Au départ, ce type d'attaque se concentrait surtout sur la classification d'images, mais il a le potentiel d'être utilisé plus largement, y compris pour la génération et la classification de texte.

#Aperçu des attaques par détournement de modèle

Une attaque par détournement de modèle a pour but de prendre le contrôle d'un modèle cible. L'objectif est de faire en sorte que le modèle exécute une tâche différente de celle pour laquelle il a été conçu à l'origine. Par exemple, un modèle entraîné pour classifier du texte pourrait être amené à générer du texte à la place. Pour cela, il faut modifier les données d'entraînement utilisées pour apprendre au modèle. Un aspect unique de cette attaque est que les données altérées doivent ressembler aux données d'entraînement d'origine du modèle. Ça rend plus difficile pour le propriétaire du modèle de remarquer les changements.

#Expansion à la génération et à la classification de texte

Dans cette étude, on élargit l'idée des attaques par détournement de modèle pour inclure la génération de texte. On propose une méthode qui permet à une attaque de détournement de fonctionner avec différentes tâches, comme la traduction de langue, la résumation et d'autres activités de création de texte. Pour tester l'efficacité de cette attaque, on utilise plusieurs ensembles de données de référence contenant divers types de texte. Nos résultats montrent qu'il est possible de détourner des modèles de génération de texte sans nuire à leur utilité générale.

#Défis actuels en apprentissage automatique

L'apprentissage automatique a gagné en popularité grâce à son succès dans divers domaines, en particulier en traitement du langage naturel (NLP). Les techniques d'apprentissage profond ont considérablement amélioré les performances des modèles NLP, les rendant presque humains dans leurs capacités. Cependant, ce succès s'accompagne d'une augmentation substantielle des besoins en ressources, y compris la puissance de calcul et les données.

Cela a conduit à l'introduction de méthodes d'entraînement diverses pour réduire ces besoins, comme l'apprentissage fédéré, où les modèles peuvent être entraînés de manière collaborative sur plusieurs appareils. De plus, les données sont souvent récupérées sur Internet pour soutenir l'entraînement des modèles, comme la collecte d'articles pour des tâches de résumation. Ce rassemblement de nouvelles sources de données a créé de nouveaux risques de sécurité, car des acteurs malveillants peuvent publier des données nuisibles en ligne qui peuvent être collectées pendant l'entraînement.

#Types d'attaques

Les attaques en temps d'entraînement interfèrent avec le processus d'entraînement des modèles d'apprentissage automatique. Deux types courants de ces attaques sont les attaques par porte dérobée et les attaques de contamination des données. Dans les attaques par porte dérobée, le modèle cible est modifié pour produire des résultats nuisibles lorsqu'il rencontre des déclencheurs spécifiques tout en fonctionnant normalement avec des données propres. Dans les attaques de contamination des données, l'objectif est de réduire l'efficacité du modèle sur ses données normales.

Récemment, une nouvelle sorte d'attaque appelée attaque par détournement de modèle a été proposée. Ce type d'attaque vise à prendre le contrôle d'un modèle cible pour effectuer des tâches entièrement différentes. Cela nécessite que le manipulateur altère subtilement les données d'entraînement, en les faisant ressembler aux données d'entraînement d'origine pour éviter d'être détecté.

#Défis dans les modifications de texte

Bien que l'attaque par détournement de modèle ait été appliquée avec succès à la classification d'images, elle pose des défis uniques dans le domaine du texte. Par exemple, modifier une phrase en ajoutant des mots peut changer son sens, contrairement aux images où ajouter du bruit peut être moins perceptible. De plus, modifier du texte est plus compliqué en raison de sa nature discrète, contrairement à la nature continue des images.

Pour réussir une attaque par détournement de modèle sur du texte, certaines conditions doivent être remplies. Celles-ci incluent le maintien de la performance du modèle d'origine, en veillant à ce que les données contaminées suivent une structure similaire à celle de l'ensemble de données d'origine, et en garantissant que le modèle détourné peut effectuer efficacement la nouvelle tâche.

#Méthode de détournement de modèle proposée

On introduit une nouvelle approche pour le détournement de modèle qui permet de détourner des modèles de NLP. Notre méthode utilise un processus qui implique de créer une attaque discrète sans altérer l'entrée au modèle. Cela signifie que l'adversaire peut introduire des données apparemment inoffensives tout en masquant l'intention derrière.

Notre méthode crée un ensemble de tokens spéciaux (indicateurs) associés à des labels spécifiques dans l'ensemble de données de détournement, qui sont ensuite intégrés dans des phrases modifiées. En remplaçant ou en insérant ces tokens, on peut efficacement signaler au modèle de produire des sorties alignées avec la tâche de détournement, tout en gardant les données d'entrée normales.

#Expérimentation et résultats

On a mené des expériences pour évaluer l'efficacité de notre attaque par détournement de modèle sur diverses tâches. On a testé la performance de détournement sur plusieurs ensembles de données, y compris des tâches d'analyse de sentiments (SST-2), des évaluations de sentiments Twitter (TweetEval), et des tâches de classification de nouvelles (AGnews). Les résultats ont montré que nos attaques pouvaient détourner efficacement des modèles de génération de texte tout en préservant leurs capacités originales.

Par exemple, en détournant un modèle de traduction, on a atteint un taux de succès d'attaque de plus de 84 % sans diminuer significativement la capacité du modèle à effectuer sa tâche d'origine. Des taux de succès similaires ont été observés lors du détournement de modèles de résumation et d'autres modèles de NLP. En maintenant l'utilité et en garantissant la discrétion, notre approche montre son potentiel en tant que nouvelle forme d'attaque dans le domaine du NLP.

#Phase préparatoire de l'attaque

L'attaque se divise en deux phases : la phase préparatoire et la phase de déploiement. Dans la phase préparatoire, l'adversaire construit les données nécessaires pour compromettre le modèle cible. Cela implique de créer des versions modifiées de l'ensemble de données d'origine qui portent les caractéristiques de la tâche de détournement tout en restant difficiles à détecter.

La première étape de la phase préparatoire consiste à générer des pseudo phrases qui ressemblent aux données d'origine. Cela se fait en utilisant un modèle disponible publiquement qui effectue une tâche similaire à celle du modèle cible. Une fois ces pseudo phrases générées, l'adversaire crée les ensembles de tokens de détournement associés à différents labels.

En intégrant ces tokens dans les phrases générées, l'adversaire peut manipuler les données d'une manière qui signale le modèle détourné sans éveiller les soupçons.

#Phase de déploiement

Après que la phase préparatoire soit terminée, la phase de déploiement commence. Dans cette phase, l'adversaire peut extraire des résultats du modèle détourné en le consultant avec des entrées de l'ensemble de données de détournement. Les sorties sont ensuite analysées pour déterminer si l'attaque a réussi.

Le modèle détourné devrait être capable de fournir des sorties qui correspondent à la fois à la tâche d'origine et à la tâche de détournement. L'adversaire évalue la performance du modèle en fonction de l'efficacité avec laquelle il génère des sorties alignées avec les objectifs de détournement tout en maintenant l'intégrité de la tâche d'origine.

#Métriques d'évaluation

Pour évaluer l'efficacité de l'attaque, plusieurs métriques sont utilisées :

• Utilité : Cela mesure à quel point la performance du modèle détourné s'aligne avec celle du modèle propre. Plus la performance est proche, plus l'attaque est efficace.

• Discrétion : Cela évalue si le modèle détourné produit des sorties qui semblent normales, même lorsqu'il est testé avec des échantillons de détournement.

• Taux de succès de l'attaque (ASR) : Cela mesure avec quelle précision le modèle détourné performe sur l'ensemble de données de détournement.

À travers ces évaluations, on établit une compréhension claire de l'efficacité et de l'impact potentiel des attaques par détournement de modèle sur les modèles de NLP.

#Résultats et observations

Les expériences ont révélé que l'attaque par détournement de modèle maintenait efficacement l'intégrité du modèle d'origine tout en exécutant avec succès la tâche de détournement. Dans de nombreux cas, le modèle détourné pouvait produire des sorties valides sans compromettre ses capacités originales.

Par exemple, en détournant un modèle de traduction, l'attaque a montré un taux de succès impressionnant tout en affectant juste légèrement la qualité de sortie du modèle. Les résultats ont confirmé qu'il est faisable d'utiliser des méthodes de détournement sans perturber significativement la fonctionnalité des modèles existants.

#Travaux futurs et limitations

Malgré le succès de notre attaque, plusieurs limitations ont été identifiées qui nécessitent une exploration plus approfondie. Une limitation réside dans les artefacts potentiels introduits dans la sortie des phrases transformées. Bien que l'on vise à préserver la sémantique originale, certains changements peuvent encore mener à des déviations légères dans le sens.

Un autre défi rencontré était la dépendance à des méthodes de recherche gloutonne. En ne sélectionnant que les sorties les mieux notées pour les itérations suivantes, il est possible que des alternatives potentiellement meilleures soient négligées. De futures recherches pourraient envisager d'utiliser des algorithmes de recherche plus avancés comme la recherche par faisceau pour améliorer la qualité des données générées.

#Conclusion

Cette étude révèle la première attaque par détournement de modèle contre des modèles de NLP, soulignant les nouveaux risques qui accompagnent l'évolution des technologies d'apprentissage automatique. La capacité de détourner un modèle pour exécuter différentes tâches pose des défis concernant la responsabilité et la mauvaise utilisation des ressources.

Les expériences démontrent que cette forme d'attaque peut être efficace et discrète, montrant un potentiel significatif d'exploitation dans des situations réelles. À mesure que l'apprentissage automatique continue d'évoluer, aborder de telles vulnérabilités sera crucial pour garantir la sécurité et la fiabilité des systèmes d'IA.

En présentant une méthode pour réaliser des attaques par détournement de modèle, nous contribuons à la conversation en cours sur les menaces posées par l'apprentissage automatique et l'importance de créer des défenses robustes contre elles.