Cosa significa "Mascheramento del gradiente"?

Indice

Il gradient masking è una situazione in cui un modello sembra essere più sicuro contro certi attacchi di quanto non sia realmente. Questo succede quando il processo decisionale del modello nasconde le sue debolezze. Gli attaccanti cercano di ingannare il modello facendo piccole modifiche ai dati in input, come aggiungere rumore alle immagini.

In alcune difese, i modelli combinano risultati diversi basati su varie versioni rumorose dello stesso input. Anche se può sembrare efficace, può portare al gradient masking. I difetti nascosti nel modello diventano più difficili da vedere, facendolo sembrare più forte contro gli attacchi, ma in realtà potrebbe essere ancora vulnerabile.

Quando gli attaccanti usano tecniche specifiche progettate per esporre queste debolezze, possono ridurre significativamente l'accuratezza del modello. Questo significa che quella che sembrava una difesa robusta potrebbe non proteggere il modello così bene come si sperava.