事前学習モデルに対するバックドア攻撃の進展
TransTrojはバックドア攻撃を強化して、効果と検出への抵抗力を向上させる。
― 1 分で読む
プレトレーニングモデル（PTM）はいろんなアプリでよく使われてるんだけど、信頼できないモデルだとバックドア攻撃を受ける可能性があるんだ。バックドア攻撃では、悪意のある奴がPTMをいじって特定のタスクでのパフォーマンスを変えちゃう。バックドアは隠れてることが多くて、特定の状況でしかトリガーできないから、見つけるのが難しいんだよね。
既存のPTMの攻撃方法には限界があるんだ。特定のタスクについての知識が必要だったり、ファインチューニングの過程でバックドアが消えたりすることもある。この記事では、TransTrojっていう新しい技術を紹介してて、バックドア攻撃をより効果的で消しにくくすることを目指してる。これは、事前の知識なしでいろんなタスクで機能する耐久性のあるバックドア攻撃を作ることにフォーカスしてる。
背景
PTMは大規模なデータセットでトレーニングされて、いろんなタスクでうまくいくモデルなんだ。トレーニングが終わった後、特定のタスクのために小さなデータセットでファインチューニングできるんだけど、信頼できないPTMを使うとリスクが高くなる。隠れたバックドアがあって攻撃者がモデルの挙動をコントロールできるかもしれないからね。
従来のバックドア攻撃は、モデルを使うタスクの具体的な詳細が必要なんだ。例えば、攻撃者はどのデータがモデルに入力されるかや、どうトレーニングされてきたかを知っておく必要がある。これがあるから、既存の攻撃はあまり実用的じゃない。特定のタスクに縛られないもっと広いアプローチの方が効果的で、脅威になるんだ。
いくつかの方法は、いろんなタスクで機能するバックドア攻撃を作ろうとしてるんだけど、トリガーがPTMの出力と合うようにする必要があるから、課題はまだある。ファインチューニングの過程でモデルの記憶がバックドアを上書きしちゃうこともあるし、全てのタスクに対してバックドアが機能することを保証できない。
提案手法：TransTroj
TransTrojは、上述の限界を解決することでPTMのバックドア攻撃を改善しようとしてる。消しにくいバックドアを作って、いろんなタスクで効果を維持し、ファインチューニング後でも機能することを目指してる。これを実現するために、埋め込みの区別不能性っていう概念を導入してて、モデルが通常のデータとバックドアを含むデータを、基盤の特徴を見るときに区別できないようにするんだ。
これを実装するために、著者は埋め込みの区別不能性を2つの部分に分けてる：事前区別不能性と事後区別不能性。事前区別不能性は、ファインチューニング前に汚染されたサンプルとクリーンサンプルが特徴空間で似て見えるようにする。事後区別不能性は、ファインチューニング後も汚染されたサンプルがターゲットクラスのサンプルと合うようにする。
方法は2段階のプロセスに従う：
トリガー最適化：最初の段階では、通常のサンプルから特徴のセットを作り、汚染されたサンプルがそれに似るようにする。これは、汚染されたサンプルに適用できるトリガーを最適化することで実現する。
PTM最適化：2番目の段階では、汚染されたサンプルを使用してPTMをファインチューニングする。このプロセスでは、クリーンサンプルに対するパフォーマンスを以前と同じように保ちながら、汚染されたサンプルも効果的であることを保証するのが目標なんだ。
各段階は、バックドアがアクティブで効果的に機能するために重要なんだ。
実験設定
著者たちは、ResNet、VGG、ViT、CLIPなどのさまざまなプレトレーニングモデルを使ってTransTrojを評価した。CIFAR-10、CIFAR-100、GTSRB、Caltech 101、Caltech 256、Oxford-IIIT Petの6つの異なるタスクでテストを行った。このバラエティが、異なる条件下で方法がどれだけうまく機能するかを示す助けになってる。
データ収集
準備のために、著者たちは各ターゲットクラスからインターネットで10枚のリファレンス画像を集めた。また、トレーニングとテストに使うシャドウデータセットとして、50,000枚の画像をImageNetから収集した。
評価指標
著者たちは、方法のパフォーマンスを評価するために3つの主要な指標を使った：
- クリーン精度（CA）：これは、モデルが通常の汚染されてないデータでどれだけうまくいくかを測る。
- 攻撃成功率（ASR）：これは、バックドアが仕掛けられたモデルが汚染されたサンプルをターゲットクラスとして誤分類する割合を示す。
- バックドア精度（BA）：これは、バックドアが仕掛けられたモデルが通常のタスクでどれだけうまくいくかを反映して、バックドアがあっても元の目標を達成できるかどうかを示す。
実装の詳細
実験の設定は、耐久性と効果を評価するためにモデルを20エポックファインチューニングすることを含んでいた。ResNetやVGGのようなモデルでは、学習率は1e-4を使用した。一方で、ViTやCLIPでは学習率は1e-5に設定された。
結果と議論
結果は、TransTrojがBadEncoderやNeuBAといった既存の攻撃よりも、さまざまなタスクでの攻撃成功率で優れていることを示した。例えば、BadEncoderはしばしば10%未満の成功率であるのに対し、TransTrojは多くの場合99%を超えていた。
この方法は、ダウンストリームモデルのクリーン精度を効果的に維持し、バックドア精度とクリーン精度の差が通常1%未満であることが多かった。バックドア精度がクリーン精度を上回る場合もあって、堅牢なパフォーマンスを示している。
攻撃の耐久性
研究の重要な側面の一つは、バックドアの耐久性だった。研究者たちは、ファインチューニングプロセス中の各エポックの後の成功率をモニタリングした。TransTrojは安定性を示し、わずかな変動があっただけだった。対照的に、NeuBAのような方法は効果が大幅に低下することが多く、TransTrojの設計がファインチューニング中にバックドアを消すのが難しいことを示していた。
マルチターゲット攻撃
TransTrojは、同時に複数のクラスを攻撃することもできる。著者たちは、この方法が単一のターゲットクラスを使って複数のダウンストリームタスクを効果的にターゲットできることを示した。結果は、さまざまなタスクでバックドアを起動できることを確認しており、広い適用性を示している。
感度分析
著者たちは、特定の要因がTransTrojのパフォーマンスにどのように影響を与えるかを分析するための追加研究を行った。最適化されたトリガーやシャドウデータセットのサイズの影響を調べた。より大きなシャドウデータセットが高い成功率を達成するのに有利である一方、より小さなトリガーは効果の低下をもたらした。
防御への頑強性
この研究は、TransTrojがバックドアを消そうとする防御機構に対してどれほど耐性があるかも探求した。一つの一般的な方法はモデルの一部を再初期化することなんだけど、何層か初期化しても攻撃は成功し続け、耐久性が証明された。
もう一つの方法、ファインチューニングは、モデルのニューロンを無効化してバックドアを消そうとするものだけど、TransTrojはチャンネルのかなりの割合がプルーニングされても耐性を示した。これは、バックドアを消そうとするさまざまな試みに対する方法の堅牢性を強調している。
結論
結論として、TransTrojのアプローチは、プレトレーニングモデルに対するバックドア攻撃の重要な進歩を表している。耐久性と複数のタスクでの互換性を確保することで、現実のアプリケーションでより大きな脅威をもたらすんだ。2段階の最適化と埋め込みの区別不能性へのフォーカスは、この分野の今後の研究と開発のための有望な基盤を提供してる。
今後の研究
この研究はさらなる探求の道を開いている。今後の研究者は、バックドア攻撃の効果を高めるために、より洗練された埋め込み方法や異なる最適化戦略を調べるかもしれない。また、こうした頑強な攻撃に対する防御を探求することが、安全なAIシステムを開発するためには重要になるだろう。
最後に、PTMがさまざまなアプリケーションで普及するにつれて、その脆弱性を理解することはセキュリティ専門家やユーザーにとってますます重要になるよね。
タイトル: Model Supply Chain Poisoning: Backdooring Pre-trained Models via Embedding Indistinguishability
概要: Pre-trained models (PTMs) are widely adopted across various downstream tasks in the machine learning supply chain. Adopting untrustworthy PTMs introduces significant security risks, where adversaries can poison the model supply chain by embedding hidden malicious behaviors (backdoors) into PTMs. However, existing backdoor attacks to PTMs can only achieve partially task-agnostic and the embedded backdoors are easily erased during the fine-tuning process. This makes it challenging for the backdoors to persist and propagate through the supply chain. In this paper, we propose a novel and severer backdoor attack, TransTroj, which enables the backdoors embedded in PTMs to efficiently transfer in the model supply chain. In particular, we first formalize this attack as an indistinguishability problem between poisoned and clean samples in the embedding space. We decompose embedding indistinguishability into pre- and post-indistinguishability, representing the similarity of the poisoned and reference embeddings before and after the attack. Then, we propose a two-stage optimization that separately optimizes triggers and victim PTMs to achieve embedding indistinguishability. We evaluate TransTroj on four PTMs and six downstream tasks. Experimental results show that our method significantly outperforms SOTA task-agnostic backdoor attacks -- achieving nearly 100\% attack success rate on most downstream tasks -- and demonstrates robustness under various system settings. Our findings underscore the urgent need to secure the model supply chain against such transferable backdoor attacks. The code is available at https://github.com/haowang-cqu/TransTroj .
著者: Hao Wang, Shangwei Guo, Jialing He, Hangcheng Liu, Tianwei Zhang, Tao Xiang
最終更新: 2024-10-16 00:00:00
言語: English
ソースURL: https://arxiv.org/abs/2401.15883
ソースPDF: https://arxiv.org/pdf/2401.15883
ライセンス: https://creativecommons.org/licenses/by/4.0/
変更点: この要約はAIの助けを借りて作成されており、不正確な場合があります。正確な情報については、ここにリンクされている元のソース文書を参照してください。
オープンアクセスの相互運用性を利用させていただいた arxiv に感謝します。