Was bedeutet "Gradient Maskierung"?

Inhaltsverzeichnis

Gradient-Masking ist eine Situation, in der ein Modell sicherer gegen bestimmte Angriffe zu sein scheint, als es tatsächlich ist. Das passiert, wenn der Entscheidungsprozess des Modells seine Schwächen verbirgt. Angreifer versuchen, das Modell auszutricksen, indem sie kleine Änderungen an den Eingabedaten vornehmen, zum Beispiel indem sie Rauschen zu Bildern hinzufügen.

Bei einigen Abwehrmechanismen kombinieren Modelle verschiedene Ergebnisse basierend auf verschiedenen verrauschten Versionen derselben Eingabe. Auch wenn das effektiv erscheinen mag, kann es zu Gradient-Masking führen. Die versteckten Mängel im Modell werden schwerer zu erkennen, was es stärker gegen Angriffe aussehen lässt, aber in Wirklichkeit könnte es immer noch anfällig sein.

Wenn Angreifer spezifische Techniken verwenden, die darauf abzielen, diese Schwächen aufzudecken, können sie die Genauigkeit des Modells erheblich reduzieren. Das bedeutet, dass das, was wie eine starke Verteidigung aussah, das Modell möglicherweise nicht so gut schützt, wie man hoffen würde.