Introducendo la Maschera di Attenzione Apprendibile per Compiti Multimodali

Il metodo di Self-Attention in modelli come i Transformers ha dato buoni risultati in molti ambiti. Tuttavia, ha delle difficoltà in compiti che coinvolgono diversi tipi di dati, come combinare testo, immagini e audio. Questo è principalmente perché ogni pezzo di dati (o Token) può avere un diverso livello di dettaglio, e elaborare sequenze lunghe può richiedere molta potenza computazionale.

Per affrontare questo problema, presentiamo un metodo chiamato Learnable Attention Mask (LAM). Il suo obiettivo è aiutare il modello a concentrarsi sui token più importanti in una sequenza, gestendo come l'Attenzione è distribuita tra di essi. Integrando LAM con un modello transformer simile a BERT, possiamo catturare meglio le connessioni tra vari token. La versione multi-layer di LAM può gestire i diversi tipi di informazioni presenti nei vari strati del transformer.

I nostri esperimenti su vari dataset, tra cui MADv2, QVHighlights, ImageNet 1K e MSRVTT, mostrano che LAM può migliorare le prestazioni e ridurre calcoli non necessari. Questo approccio è particolarmente utile per comprendere scenari complessi come l'analisi di scene di film.

#Contesto

I progressi nel deep learning ci hanno permesso di gestire compiti complicati che coinvolgono diversi tipi di informazioni. Uno di questi compiti è comprendere le scene di un film, dove i modelli devono estrarre intuizioni significative da video, immagini, audio e testo.

Ad esempio, in una scena di un film, i token video e audio si allineano nel tempo, ma le associazioni tra questi token possono variare molto. L'attuale meccanismo di attenzione nei modelli è bravo a catturare relazioni locali, ma ha delle limitazioni con tipi di dati diversi. I diversi tipi di dati possono presentare informazioni in modi unici, causando potenziali problemi. Ad esempio, un token audio può riferirsi a diversi token video, e sequenze più lunghe aumentano le richieste di elaborazione, rendendo più difficile per il modello gestire tutto in modo efficace.

#Learnable Attention Mask (LAM)

LAM è progettato per creare dinamicamente maschere che aiutano a regolare l'attenzione tra i diversi token in una sequenza. Riconosciamo che non tutti i token hanno la stessa importanza. Anche se ci sono lavori precedenti che si concentrano sul masking dinamico, poca attenzione è stata data a questo concetto nel campo della computer vision, il che ci ha motivato ad analizzare l'impatto del masking dei token sui compiti visivi.

Usando LAM, possiamo esaminare ciascun token in ingresso e dare priorità ai token in base alla loro significatività. Questo masking adattivo può adattarsi facilmente ai modelli transformer esistenti, rendendolo un'opzione flessibile per varie applicazioni. Dato che i modelli transformer sono molto popolari, i ricercatori possono beneficiare dell'integrazione di LAM senza troppi sforzi.

LAM prende una sequenza di token come input e genera una maschera. Questa maschera può essere applicata su tutti i livelli del transformer o regolata per livelli individuali. Questa flessibilità consente di adottare diverse strategie di gestione dell'attenzione.

I punteggi di attenzione prodotti dal modello possono essere regolati utilizzando la maschera generata, permettendo di evidenziare o ridurre specifici token. Osservando che ogni livello della rete transformer cattura informazioni diverse, siamo stati motivati a posizionare LAM in ogni livello, creando una versione multi-layer.

#Validazione Sperimentale

Abbiamo validato l'efficacia del nostro metodo attraverso vari esperimenti. Abbiamo prima testato il LAM multi-layer in contesti multimodali, concentrandoci specificamente sulla generazione di descrizioni audio utilizzando il dataset MADv2. Abbiamo anche applicato LAM per il recupero di momenti e la rilevazione di evidenze utilizzando il dataset QVHighlights, che combina input di testo e video. Inoltre, abbiamo dimostrato che LAM può migliorare le prestazioni in compiti a modalità singola come la classificazione delle immagini in ImageNet 1K e la captioning dei video in MSRVTT.

Sebbene i guadagni nei compiti a modalità singola siano stati modesti, il LAM multi-layer ha dimostrato la sua versatilità in più scenari. Abbiamo anche analizzato come la maschera generata impatti sulla gestione dell'attenzione.

#Risultati

Offriamo tre principali contributi:

1. Abbiamo introdotto il Learnable Attention Mask (LAM) per dare priorità ai token significativi in sequenze complesse. Regolando le mappe di attenzione, LAM mira a ottimizzare le prestazioni per compiti difficili di elaborazione delle sequenze. Il suo design modulare consente un'integrazione semplice con modelli transformer esistenti.

2. Attraverso test approfonditi su vari benchmark, abbiamo sottolineato l'efficacia di LAM, specialmente con encoder multimodali.

3. Abbiamo esaminato l'impatto di LAM sulla distribuzione dei pesi di attenzione, fornendo intuizioni qualitative sul suo comportamento.

#Lavori Correlati

#Transformers Multimodali

Studi precedenti in scenari multimodali si sono principalmente concentrati sul contrastive learning, che allinea diversi tipi di dati come immagini e testo. Le ricerche recenti stanno sempre più esaminando come fondere modalità diverse all'interno di uno spazio unificato utilizzando strati di cross-attention. La nostra scelta di utilizzare un transformer Multimodale deriva dalla sua capacità di integrare diversi tipi di informazioni, consentendo una comprensione più ricca dei dati in ingresso.

#Modelli Linguistici per Descrizioni Video

Abbiamo adattato un ampio modello linguistico per generare descrizioni audio incorporando un modulo adattatore. Questo modulo elabora le caratteristiche audiovisive e le prepara per il modello linguistico. L'idea di addestrare un adattatore è stata esplorata in passato, ma il nostro metodo migliora gli approcci esistenti includendo sia caratteristiche audio che video.

#Masking Attention

Nella elaborazione del linguaggio naturale, sono stati studiati diversi metodi per creare maschere di attenzione. Tuttavia, quest'area non ha ricevuto molta attenzione nella computer vision. Questa mancanza di esplorazione ci ha motivato a indagare le implicazioni dei metodi di masking, in particolare nei contesti multimodali.

#Implementazione della Learnable Attention Mask

Il nostro obiettivo è creare una Learnable Attention Mask che identifichi e dia priorità ai token in base alla loro significatività. Questo meccanismo adattabile può essere integrato nei Transformer Encoders esistenti. Il modulo LAM elabora l'intera sequenza di token e genera una maschera per i calcoli di attenzione.

Nella self-attention, la dimensione della maschera è determinata dalla lunghezza della sequenza in ingresso. Nella cross-attention, la dimensione della maschera dipende dalle lunghezze dei tensori Query e Key.

Le maschere generate possono essere utilizzate globalmente nel modello o regolate in base alla profondità del livello. Questo consente strategie di attenzione mirata in diversi punti del modello, migliorandone la versatilità.

#Compiti Multimodali e a Modalità Singola

#Generazione di Descrizioni Audio

Nella generazione di descrizioni audio, il nostro obiettivo è trasformare contenuti audiovisivi da un lungo clip cinematografico in descrizioni testuali. Ogni clip ha token visivi e audio, e il nostro compito è tradurre questo in una narrazione coerente per le persone che sono cieche.

Per elaborare i dati audiovisivi, utilizziamo un modello transformer multimodale che gestisce le relazioni tra i flussi video e audio. Quando fornita una sequenza di input, il modello stima la probabilità della prossima parola basandosi sui dati di addestramento.

#Recupero di Momenti e Rilevazione di Evidenze

Nei compiti di recupero di momenti, valutiamo quanto bene il modello riesce a identificare momenti specifici in un video basandosi su una query in linguaggio naturale. Elaborando rappresentazioni video e testuali, classifichiamo i momenti identificati in base ai punteggi di confidenza.

#Classificazione delle Immagini

Nella classificazione delle immagini, l'obiettivo è categorizzare un'immagine in ingresso in classi predefinite. Il nostro modello prevede etichette di classe e corrispondenti punteggi di confidenza per determinare le classi reali presenti nell'immagine in ingresso.

#Captioning dei Video

Per la captioning dei video, l'obiettivo è produrre una descrizione testuale di un video. Il modello genera una caption che riflette accuratamente il contenuto e gli eventi del video.

#Conclusioni e Lavori Futuri

In sintesi, abbiamo introdotto la Learnable Attention Mask (LAM) per affrontare le limitazioni dei meccanismi di attenzione nei compiti multimodali. LAM consente al modello di gestire meglio l'attenzione tra diversi tipi di dati riducendo al contempo i calcoli non necessari. Anche se i nostri risultati in contesti multimodali hanno mostrato miglioramenti significativi, c'è potenziale per prestazioni migliori incorporando ulteriore contesto durante l'inferenza. Le ricerche future possono costruire sui nostri risultati per migliorare ulteriormente come i meccanismi di attenzione vengono compresi e applicati in vari scenari.