Valutare la sicurezza nelle immagini generate dall'IA

Recentemente, grandi modelli di intelligenza artificiale che combinano testo e immagini hanno mostrato abilità impressionanti nella creazione di contenuti interessanti. Tuttavia, ci sono preoccupazioni sulla Sicurezza e l'equità dei dati usati per addestrare questi modelli. Alcuni dati provenienti dal web potrebbero contenere materiale dannoso o di parte, il che può portare a problemi etici quando questi modelli vengono utilizzati in situazioni reali. Questo è particolarmente importante per i modelli di testo in immagine, che possono generare immagini insicure o di parte.

Per affrontare questi problemi, i ricercatori hanno proposto vari metodi e linee guida per valutare e ridurre i rischi di sicurezza associati ai modelli di AI. Con nuove regolamentazioni sull'AI che emergono in diversi paesi, c'è un bisogno crescente di strumenti che possano valutare efficacemente i dati visivi. Tuttavia, la maggior parte dei framework di sicurezza esistenti si concentra sul testo piuttosto che sulle immagini, lasciando un vuoto nelle risorse per valutare i contenuti visivi.

#Il nostro approccio

Introduciamo un nuovo sistema per valutare immagini potenzialmente insicure. Questo sistema combina informazioni visive e testuali, permettendo di valutare le immagini secondo diverse politiche di sicurezza. Lo abbiamo progettato con un forte focus sulla comprensione delle problematiche di sicurezza nelle immagini. Il Modello aiuta a capire perché un'immagine è considerata insicura e quali regole specifiche potrebbero essere violate, come il discorso d'odio o la crudeltà verso gli animali.

Un aspetto importante del nostro lavoro è lo sviluppo di un sistema di Classificazione della sicurezza flessibile. Questo sistema si adatta in base al contesto, permettendo al modello di essere applicato in vari scenari. Il nostro contributo include:

1. Un insieme di modelli che valutano le immagini per la sicurezza.
2. Un sistema di classificazione ampio per i rischi di sicurezza nelle immagini.
3. Un dataset accuratamente annotato per addestrare il modello sulle valutazioni di sicurezza.
4. Testare il modello in compiti reali come la curatela dei dataset e la moderazione dei contenuti generati dall'AI.

#Contesto

Numerosi studi hanno evidenziato i rischi associati ai grandi modelli di AI. Ad esempio, molti modelli di testo in immagine sono noti per produrre contenuti di parte e insicuri. Pertanto, è fondamentale garantire che questi modelli siano sicuri per l'uso in diverse applicazioni.

In passato, ci sono stati sforzi per documentare i contenuti visivi e i loro potenziali rischi. Alcuni approcci iniziali hanno coinvolto strumenti di classificazione, utilizzando modelli o input umani per designare contenuti che potrebbero essere dannosi. Tuttavia, l'efficacia di questi audit è spesso limitata da categorie di sicurezza fisse, che potrebbero non catturare l'intero spettro dei rischi presenti nei dati visivi.

Il nostro sistema mira a migliorare la curatela dei dataset e la moderazione dei contenuti per l'AI generativa utilizzando questi nuovi modelli. Questo migliora le valutazioni di sicurezza nel dominio visivo.

#Tassonomia della sicurezza

La maggior parte degli approcci esistenti si concentra su un singolo aspetto della sicurezza, come i contenuti per adulti. Tuttavia, una valutazione più completa che consideri più aspetti è essenziale per avere un quadro chiaro dei rischi di sicurezza. Sono state sviluppate tassonomie di sicurezza per organizzare e valutare questi rischi in modo sistematico. Alcune tassonomie precedenti includevano varie categorie per coprire le preoccupazioni sulla sicurezza e favorire la responsabilità. La nostra tassonomia di sicurezza introduce nove categorie per identificare i rischi nelle immagini, andando oltre la ricerca precedente per soddisfare la necessità di classificazioni adattabili.

#Utilizzo di modelli multimodali

L'emergere di grandi modelli multimodali ci consente di sfruttare la loro comprensione del mondo per una migliore moderazione dei contenuti. Questi modelli possono elaborare sia testo che immagini, fornendo un'analisi più completa della sicurezza. Applichiamo le loro capacità per valutare efficacemente la sicurezza dei contenuti visivi. Il nostro nuovo sistema si basa su questi modelli multimodali.

Allineiamo le nostre categorie di sicurezza con tassonomie basate su testo esistenti per abilitare valutazioni in tempo reale che si adattano a requisiti di sicurezza variabili. Questo approccio non è pensato per coprire tutti i potenziali rischi, ma serve come guida generale che può essere adattata per diverse esigenze.

#Categorie di sicurezza

La nostra tassonomia di sicurezza include nove categorie principali, insieme a una categoria per situazioni in cui non si applica alcuna regola rilevante. Ogni categoria è definita con linee guida precise per garantire che il sistema possa essere regolato in base al contesto specifico. Ad esempio, certe categorie potrebbero vietare completamente la nudità, mentre in contesti medici, alcune nudità potrebbero essere accettabili.

Ogni categoria ha istruzioni dettagliate su cosa dovrebbe o non dovrebbe essere incluso. Questa flessibilità ci consente di adattare le nostre strategie di valutazione in base alle specifiche esigenze di ogni scenario.

#Metodologia

Il nostro modello è stato sviluppato perfezionando grandi modelli pre-addestrati su un dataset curato. Questo dataset è stato assemblato da più fonti, assicurando una rappresentazione bilanciata dei rischi di sicurezza. Abbiamo anche annotato manualmente il dataset per creare etichette accurate, fornendo una solida base per l'addestramento del modello.

Per garantire che il modello possa valutare le immagini rapidamente, abbiamo generato output strutturati contenenti valutazioni di sicurezza, categorie e spiegazioni per ogni valutazione. Il modello genera questi output in un formato semplice che può essere facilmente analizzato.

#Raccolta dati

Per la nostra raccolta di dati, siamo partiti da un dataset di base già annotato. Tuttavia, abbiamo notato uno squilibrio tra le categorie di sicurezza, con alcune aree sottorappresentate. Per correggere questo, abbiamo raccolto immagini aggiuntive da internet, assicurandoci che ogni categoria di sicurezza ricevesse una copertura adeguata.

Una volta raccolte le immagini, le abbiamo annotate secondo le nostre nove categorie di sicurezza, etichettando ogni immagine come sicura o insicura, insieme a una valutazione più dettagliata quando necessario. Questa attenta etichettatura aiuta il modello a discernere vari livelli di sicurezza e garantisce che comprenda le distinzioni tra i diversi rischi.

#Processo di addestramento

Abbiamo addestrato i nostri modelli per diversi epoch utilizzando questo dataset bilanciato. Regolando parametri come tassi di apprendimento e dimensioni dei batch in base alle dimensioni del modello, abbiamo ottenuto un addestramento efficiente.

Il nostro dataset finale comprendeva un mix di immagini sicure e insicure, garantendo un campione rappresentativo per il modello da cui apprendere. Abbiamo condotto test con campioni separati per misurare le prestazioni senza sovrapporre alcun dato di addestramento.

#Valutazione dei modelli

Per convalidare i nostri modelli, li abbiamo messi a confronto con vari modelli di riferimento. Abbiamo scoperto che il nostro sistema ha costantemente superato i modelli di base, raggiungendo un'alta precisione nel distinguere contenuti sicuri da quelli insicuri. Questo è particolarmente impressionante dato che i nostri modelli più piccoli hanno comunque battuto alternative molto più grandi.

Inoltre, abbiamo testato quanto bene i nostri modelli si adattassero ai cambiamenti nelle politiche di sicurezza. Questi test hanno dimostrato la capacità del modello di adattarsi in modo flessibile a diversi contesti, fornendo valutazioni affidabili in vari scenari.

#Applicazioni nel mondo reale

I nostri modelli possono essere applicati in contesti reali, in particolare per l'auditing dei dataset e la moderazione dei contenuti generati. Ad esempio, abbiamo effettuato un audit di un grande dataset di immagini, identificando un numero significativo di elementi potenzialmente insicuri in base alle nostre linee guida di sicurezza.

Questo processo di auditing aiuta a garantire che i dati di addestramento rimangano sicuri per usi futuri nei modelli di AI. Permette inoltre ai ricercatori di identificare e mitigare i rischi, garantendo che i sistemi di AI siano costruiti su basi affidabili.

Nella moderazione dei contenuti, i nostri modelli sono stati testati rispetto agli output generativi dell'AI. Abbiamo scoperto che identificavano efficacemente le immagini insicure, contribuendo ad applicare le necessarie misure di protezione durante il deployment. I risultati hanno mostrato che i nostri modelli potevano discernere contenuti insicuri efficacemente, il che è cruciale per mantenere standard etici nei materiali generati dall'AI.

#Test delle prestazioni

Nei nostri test, abbiamo osservato che il nostro sistema poteva valutare e regolare accuratamente le valutazioni di sicurezza per un grande volume di immagini. Anche in contesti difficili, ha gestito efficacemente le variazioni nei contenuti, dimostrando la sua robustezza e adattabilità.

Abbiamo anche condotto revisioni manuali delle classificazioni delle immagini, confermando che le valutazioni del nostro modello si allineavano in gran parte con le valutazioni umane. Questo rafforza il valore dei nostri modelli nel fornire valutazioni di sicurezza affidabili.

#Conclusione

Abbiamo sviluppato un insieme di modelli capaci di valutare la sicurezza delle immagini basandosi su una solida comprensione dei potenziali rischi. Il nostro approccio colma le lacune esistenti nei framework di sicurezza per i contenuti visivi, offrendo un sistema completo per valutare i rischi di sicurezza in contesti diversi.

Creando una tassonomia di sicurezza flessibile e addestrando i nostri modelli su un dataset ben annotato, facilitiamo migliori valutazioni di sicurezza nelle applicazioni reali. I nostri modelli dimostrano di poter gestire efficacemente le complessità delle valutazioni di sicurezza, garantendo che le immagini generate dall'AI siano sicure e allineate con le aspettative etiche.

Lavori futuri potrebbero ulteriormente migliorare i nostri modelli espandendo il dataset e affinando le categorie di sicurezza per promuovere l'equità nell'AI. Mentre continuiamo a esplorare le capacità di questi modelli, miriamo a rafforzare la loro applicabilità in casi d'uso più ampi, garantendo pratiche di AI responsabili nella creazione e valutazione dei contenuti visivi.