Migliorare la sicurezza nei modelli da testo a immagine

Con la crescita dei modelli di testo-immagine, ci sono molti modi in cui le persone hanno provato a fermare la creazione di immagini indesiderate. Purtroppo, molti di questi metodi funzionano solo per alcune richieste dell'utente e possono comunque produrre immagini pericolose se qualcuno usa un prompt diverso. Questo pezzo si concentra sull'idea di cancellare un concetto da un modello di testo-immagine senza collegarlo a ciò che l'utente chiede.

Iniziamo mostrando che usare i Vettori di Compito (TV) per la cancellazione dei concetti è generalmente più efficace contro input inaspettati degli utenti rispetto ai metodi che si basano sul prompt specifico usato. Tuttavia, usare i TV può anche cambiare quanto bene il modello si comporta complessivamente, specialmente quando non è chiaro quanto editing sia necessario. Per affrontare questo, introduciamo un metodo chiamato Inversione Diversificata. Questo metodo ci aiuta a determinare quanto forte dovrebbe essere la modifica del TV. Trova un gruppo diversificato di embeddings di parole che possono generare il concetto che vogliamo rimuovere. Rendendo questo gruppo diversificato, la nostra stima diventa più affidabile contro prompt inaspettati.

Alla fine, dimostriamo che l'Inversione Diversificata ci consente di applicare la modifica del TV solo a una parte delle impostazioni del modello, migliorando la nostra capacità di cancellare il concetto mantenendo intatta la prestazione core del modello.

#Introduzione

I modelli di testo-immagine (T2I) sono diventati davvero bravi a creare immagini di alta qualità. Man mano che questi modelli migliorano, sorgono problemi riguardo il loro potenziale di creare contenuti indesiderati o dannosi. Le preoccupazioni includono la capacità di creare immagini false di persone reali, copiare materiali protetti e generare contenuti inappropriati. Un modo per gestire questi problemi è filtrare le immagini indesiderate dai dati di addestramento del modello. Tuttavia, setacciare le enormi quantità di dati estratti dal web è molto difficile. Anche se si potesse filtrare, riaddestrare i modelli esistenti da zero per rispettare nuove normative può essere troppo costoso e impraticabile. Per comodità, ci riferiremo a tutte le forme di creazioni indesiderate come 'non sicure'.

#Cancellazione dei Concetti Indipendente dall'Input vs. Dipendente dall'Input

Notiamo che i metodi di cancellazione dei concetti attuali filtrano spesso solo una piccola area dello spazio di input. Nelle nostre illustrazioni, mostriamo le differenze nelle generazioni di immagini dopo aver tentato di cancellare il concetto "Van Gogh" da un modello utilizzando due approcci diversi. La riga superiore mostra i risultati dopo aver applicato un metodo specifico dipendente dall'input, mentre la riga inferiore mostra risultati utilizzando un modello che non ha subito alcuna Cancellazione del Concetto. Il concetto appare in immagini generate anche quando gli input sono lontani dal nome originale del concetto.

La capacità dei modelli di testo-immagine di creare immagini di alta qualità è davvero migliorata. Tuttavia, questo ha portato a preoccupazioni sul loro potenziale di generare contenuti inappropriati, come immagini false di persone reali o immagini esplicite. Un approccio semplice sarebbe filtrare i dati di addestramento, ma questo è un compito sfidante perché milioni di immagini devono essere esaminate. Inoltre, anche se potessimo filtrare i dati, riaddestrare i modelli esistenti non è pratico a causa dei costi coinvolti. Pertanto, ci riferiamo a tutti i tipi di generazioni non sicure come 'non sicure'.

#Metodi Attuali e le Loro Limitazioni

Alcuni metodi più recenti sono stati sviluppati per rimuovere concetti non sicuri dai modelli di testo-immagine. Questi metodi funzionano spesso bene contro prompt noti ma falliscono quando si trovano di fronte a input inaspettati che non facevano parte del processo di addestramento per la cancellazione. Molti approcci esistenti eccellono nell'evitare contenuti non sicuri basati su prompt specifici, ma se un avversario usa prompt diversi, potrebbero comunque trovare modi per generare immagini non sicure.

In questa discussione, miriamo a fare progressi nella sfida di rimuovere concetti non sicuri. Anche se ottenere una cancellazione perfetta è irrealistico, puntiamo a sviluppare un metodo che funzioni indipendentemente dai prompt specifici degli utenti. La nostra idea principale si basa su una nuova tecnica chiamata Vettori di Compito. Un vettore di compito (TV) indica una modifica nelle impostazioni del modello che risulta dal fine-tuning. I TV possono essere usati in modo flessibile per modificare grandi modelli senza legarli a input specifici degli utenti, promuovendo la sicurezza per i modelli T2I.

Quando usiamo il TV per la cancellazione, prima affinaturemo il modello per generare un concetto o uno stile specifico e usiamo questa differenza di peso come nostro TV. Poi, prendiamo il modello originale e sottraiamo il TV per cancellare il concetto non sicuro.

#Motivazione per una Sicurezza Indipendente dall'Input

Proponiamo una misura che chiamiamo sicurezza incondizionata, che valuta quanto bene funziona la cancellazione dei concetti indipendenti dall'input per un modello. Suggeriamo che per alcuni modelli, data una richiesta di input sufficientemente lunga, è sempre possibile che un input avversario generi contenuti non sicuri. Per questo motivo, limitiamo i prompt a una lunghezza fissa quando valutiamo la capacità di un metodo di evitare generazioni non sicure. Anche se può essere difficile valutare grandi modelli utilizzando questo criterio, possiamo usarlo per dimostrare che i TV forniscono un certo grado di sicurezza incondizionata.

Dopo aver verificato l'efficacia delle modifiche del TV per la cancellazione dei concetti su modelli più piccoli, esploriamo se possono essere scalati a modelli T2I più grandi senza compromettere la capacità core del modello. Il nostro obiettivo è regolare il compromesso tra la rimozione efficace di concetti indesiderati e la conservazione della funzionalità complessiva del modello.

#Compromessi e Inversione Diversificata

Analizziamo questo compromesso utilizzando un parametro che definisce la forza della modifica. Ci concentriamo sul sintonizzare questo valore senza affidarci a prompt specifici dell'utente utilizzando il metodo chiamato Inversione Diversificata. L'Inversione Diversificata trova un ampio set di embeddings nello spazio di input che portano alla generazione del concetto target che desideriamo rimuovere.

Questo processo di ottimizzazione include due principali vincoli:

1. Limita la somiglianza minima tra ciascuna coppia di embeddings, garantendo diversità nel set risultante.
2. Limita la somiglianza tra ciascun embedding e la descrizione in linguaggio naturale del nome del concetto da rimuovere.

L'Inversione Diversificata ci consente di sintonizzare meglio il valore necessario per regolare il TV per prompt più generalizzati e non solo per un singolo input dell'utente.

#Selezionare la Forza della Modifica

Indaghiamo quale valore del parametro di forza della modifica dovrebbe essere utilizzato per modificare i pesi del modello. Risulta che il nostro metodo ci aiuta a trovare un buon valore per questo parametro e ci consente anche di scegliere quali parti delle impostazioni del modello modificare, portando a un miglior equilibrio tra la cancellazione del concetto e il mantenimento di altri compiti importanti.

#Analizzando i Metodi Attuali

Sono stati proposti diversi metodi per rimuovere concetti non sicuri. Tuttavia, questi metodi tendono a essere molto specifici per determinati prompt. Se qualcuno usa un prompt diverso, spesso non riescono a prevenire output non sicuri. Ad esempio, vediamo che i metodi esistenti filtrano solo una piccola area attorno al prompt di input utilizzato per l'addestramento, il che significa che mentre possono bloccare prompt specifici, sono meno efficaci contro quelli inaspettati.

#Il Ruolo dei Vettori di Compito

I Vettori di Compito consentono un approccio più generalizzato quando si modifica un modello perché non sono legati a specifici prompt dell'utente. Il nostro obiettivo è creare un metodo incondizionato per cancellare concetti, uno che non si basi su alcun input dell'utente.

#Cancellazione del Concetto con Vettori di Compito

Mostriamo come le differenze di peso apprese durante il fine-tuning possano essere applicate ai modelli T2I per la cancellazione dei concetti. Il processo prevede il fine-tuning del modello su un set selezionato di compiti e il calcolo di un TV come differenza tra pesi pre-addestrati e fine-tunati.

#Assicurarsi una Migliore Prestazione

Per bilanciare l'efficacia della cancellazione con le prestazioni del compito core del modello, indaghiamo come regolare e scegliere quali pesi del modello modificare. Il nostro approccio ci consente di esplorare la relazione tra la cancellazione dei concetti e il mantenimento della capacità del modello di eseguire efficacemente altri compiti.

Nei nostri esperimenti, stabiliamo metriche per valutare le immagini generate dai modelli. Un focus chiave è misurare quanto bene i modelli modificati si comportano su compiti non correlati mentre garantiamo anche che il concetto target sia effettivamente cancellato.

#Metodologia di Inversione Diversificata

L'Inversione Diversificata è fondamentale per migliorare la robustezza dei modelli T2I contro input avversari. Ci consente di raccogliere un set diversificato di embeddings che servono come target per il concetto indesiderato. Ci assicuriamo che gli embeddings che selezioniamo non siano troppo simili tra loro o al concetto originale, aiutando nella creazione di un processo di cancellazione più efficace.

#Risultati Generali

Scopriamo che combinare il TV con l'Inversione Diversificata ci consente di creare un modello più efficace che può gestire meglio input inaspettati. Utilizzando questa strategia, possiamo prendere decisioni informate su quali porzioni del modello modificare, portando a risultati migliori.

#Sicurezza come Obiettivo Definito

Sebbene puntare a un modello innocuo possa sembrare allettante, porta a sfide pratiche. Assicurarsi semplicemente che un modello replichi un comportamento come se non avesse mai visto contenuti non sicuri potrebbe comunque lasciare spazio per output non sicuri.

Notiamo che il concetto di sicurezza assoluta, in cui contenuti indesiderati non possono essere generati affatto, è sfidante. Trovare un modo per riconoscere tutti i comportamenti non sicuri è un'area di ricerca in corso.

#Conclusione

In sintesi, l'uso dei Vettori di Compito per cancellare concetti indesiderati dai modelli generativi mostra promesse. Il nostro metodo proposto è indipendente dall'input, rendendolo più robusto contro prompt inaspettati. Con l'Inversione Diversificata, possiamo garantire migliori prestazioni mentre rimuoviamo concetti dannosi. Crediamo che questo metodo sarà rilevante per chi è interessato alla sicurezza dell'IA e potrebbe essere adattato per altri tipi di modelli, inclusi modelli di linguaggio di grandi dimensioni e modelli multimodali visione-linguaggio.

Il nostro lavoro evidenzia la necessità di un'esplorazione continua in quest'area, e riconosciamo le sfide ancora da affrontare riguardo la sicurezza dei modelli e l'efficacia dei metodi di cancellazione dei concetti.