Migliorare i modelli di linguaggio visivo con tecniche di aumento

I Modelli di linguaggio visivo (VLM) stanno diventando sempre più importanti. Questi modelli combinano la comprensione di immagini e testi, grazie al successo dei grandi modelli di linguaggio (LLM). Mentre questi modelli evolvono rapidamente in termini di struttura e sistemi di addestramento, il modo in cui raccogliamo e curiamo i dati non è avanzato altrettanto in fretta. Questo può portare a problemi quando la quantità o la Qualità dei Dati diventano fattori limitanti. Molte soluzioni esistenti attingono a enormi quantità di dati grezzi da Internet senza assicurarsi che siano di alta qualità o si basano su modelli proprietari che limitano le prestazioni a ciò che quei modelli possono raggiungere.

#Il nostro approccio per migliorare la qualità dei dati

In questo lavoro, presentiamo un nuovo metodo che include due passaggi principali: auto-augmentazione e augmentazione specialistica. L'obiettivo è migliorare sia la qualità dei dati sia le prestazioni del modello nel tempo.

#Processo di auto-augmentazione

Nel passaggio di auto-augmentazione, un VLM prende i propri dati di addestramento iniziali e crea didascalie migliori per migliorare la qualità dei dati. Dopo aver prodotto queste didascalie migliorate, il modello si riaddestra usando questo dataset aggiornato. Questo processo può avvenire più volte per continuare a ottenere risultati migliori. Una volta che questa auto-augmentazione raggiunge un punto in cui non fornisce più miglioramenti significativi, introduciamo diversi modelli specialistici che sono stati ottimizzati per domini specifici, permettendo loro di migliorare ulteriormente il modello generale attraverso la ri-didascalizzazione orientata al compito e il riaddestramento.

Il risultato della combinazione di auto-augmentazione con augmentazione specialistica è ciò che chiamiamo VILA-augmented-VILA. Questa famiglia di modelli mostra miglioramenti costanti in accuratezza su vari compiti rispetto ai modelli precedenti, raggiungendo risultati di punta sulla classifica MMMU tra i modelli open-source.

#Il background del successo dei VLM

L'ascesa dei grandi modelli di linguaggio ha gettato le basi per compiti che richiedono sia elementi visivi che testuali. Allineando gli encoder visivi con gli LLM, i VLM hanno aperto una gamma di possibilità entusiasmanti per i compiti visivi. Queste capacità includono seguire istruzioni, fare generalizzazioni accurate da pochi esempi e avere una comprensione più informata del mondo. Lo sviluppo in questo campo è stato rapido negli ultimi anni, portando a metodi di addestramento e design dei modelli più efficaci.

Nonostante i progressi nei metodi di addestramento, le fonti di dati generati dall'uomo e i compiti utilizzati per l'addestramento rimangono semplicistici. Considerando i costi elevati coinvolti nell'addestramento dei VLM, molti metodi si affidano a coppie di immagini e didascalie di grandi dimensioni che mancano di qualità, seguite da set più piccoli di fine-tuning supervisionato dettagliato. Migliorare la qualità di queste coppie immagine-testo richiede enormi quantità di lavoro umano, che spesso non è pratico.

Metodi recenti hanno mostrato potenziale nell'estrarre preziose intuizioni dai modelli proprietari, ma le prestazioni sono ancora limitate da questi modelli. C'è una mancanza di studi che si concentrano su come utilizzare efficacemente i VLM per correggere gli errori umani e migliorare la semplicità dei compiti per ottenere risultati di addestramento migliori.

#Affrontare l'insufficienza dei dati

Il nostro lavoro cerca di rispondere alla domanda se sia fattibile per un VLM migliorare i propri dati di addestramento in condizioni di insufficienza. Esaminiamo come i VLM possano autonomamente affinare e rafforzare i propri dati di addestramento e le prestazioni in modo graduale.

#Il loop di auto-augmentazione

La fase iniziale coinvolge il loop di auto-augmentazione che il VLM utilizza per migliorare la qualità dei suoi dati di pre-addestramento. Dimostriamo che l'uso combinato di dati sintetici e originali può portare alla creazione di modelli più robusti. Abbiamo osservato che, sebbene non ci siano costi diretti associati a questi loop, essi sperimentano rendimenti decrescenti dopo circa tre turni.

Per facilitare ulteriori apprendimenti, introduciamo un loop specifico per compiti più impegnativi. In questa fase, un modello specialista, ottimizzato per compiti specifici, genera nuovi dati utilizzando prompt orientati al compito. Il VLM auto-augmented si riaddestra quindi usando questi nuovi dati ri-didascalizzati, portando a miglioramenti delle prestazioni.

#Vantaggi del nostro metodo di augmentazione VLM

Attraverso questo nuovo regime di addestramento di augmentazione VLM, miglioriamo progressivamente la qualità dei dati, affrontando i problemi di descrizioni visive vaghe e riducendo le imprecisioni. Questo si traduce direttamente in prestazioni migliori per i VLM. I nuovi modelli superano molte soluzioni attuali su benchmark significativi, segnando la nostra posizione come i migliori nella categoria open-source sul benchmark MMMU.

#Architettura del modello e fasi di addestramento

Il nostro approccio coinvolge l'uso di un grande modello multimodale che consiste in tre componenti chiave: un modello linguistico per generare automaticamente testo, un encoder visivo per elaborare informazioni visive e un proiettore che fonde i dati visivi e testuali.

Utilizziamo diverse dimensioni del modello per esperimenti esplorativi e per mantenere equilibrio nel nostro addestramento. Inizialmente, i modelli subiscono un processo di addestramento in tre fasi:

1. Fase di allineamento: Allineare le caratteristiche visive e testuali senza toccare il modello linguistico.
2. Fase di pre-addestramento: Raccogliere un grande set di coppie immagine-testo e addestrare il modello linguistico insieme al proiettore per migliorare la comprensione.
3. Fase di fine-tuning: Infine, affinare i modelli per compiti di domanda-risposta visiva utilizzando un set diversificato di coppie di domande e risposte.

L'addestramento avviene su GPU ad alte prestazioni per garantire efficienza ed efficacia.

#Migliorare la qualità dei dati attraverso l'auto-augmentazione

Il principale miglioramento nelle prestazioni del VLM deriva dal miglioramento della qualità delle didascalie. Abbiamo scoperto che la lunghezza media delle didascalie aumenta notevolmente durante il processo di auto-augmentazione, il che significa che le didascalie diventano più dettagliate nel tempo. Dopo alcuni turni, la lunghezza delle didascalie tende a stabilizzarsi, ma vediamo comunque miglioramenti costanti nelle prestazioni del modello.

#Osservazioni chiave:

Durante l'auto-augmentazione, la qualità del dataset di addestramento migliora notevolmente. Ad esempio, quando le didascalie originali sono brevi e mancano di dettagli, le versioni auto-augmentate forniscono descrizioni più ricche e informative. Nel tempo, anche le imprecisioni-spesso chiamate allucinazioni-tendono a diminuire mentre i processi diventano più raffinati.

#Augmentazione specialistica per compiti avanzati

Una volta che l'auto-augmentazione raggiunge i suoi limiti, ci rivolgiamo a VLM specializzati. Questi modelli si concentrano su compiti specifici e affinano la loro comprensione degli elementi visivi coinvolti.

#Specialistici specifici per dominio

Ci concentriamo su tre compiti principali che richiedono una comprensione visiva dettagliata:

1. Specialista nella comprensione delle relazioni spaziali: Si allena su dati che includono conversazioni su come gli oggetti si relazionano all'interno delle immagini.
2. Specialista nel grounding: Migliora la comprensione del modello degli elementi visivi e li lega strettamente a didascalie dettagliate.
3. Specialista OCR: Si concentra sul riconoscimento e sulla comprensione del testo all'interno delle immagini.

Questi specialisti applicano le loro conoscenze per ri-didascalizzare e arricchire i dati di addestramento iniziali, creando così un VLM più informato in grado di gestire un'ampia gamma di compiti.

#L'impatto della conoscenza specialistica

I dati generati dai modelli specialistici migliorano costantemente le prestazioni del VLM su vari benchmark. Questo processo evidenzia l'importanza sia della comprensione generale che della conoscenza specialistica nell'addestramento di VLM potenti.

#Valutazione del modello e benchmarking

Attraverso una valutazione rigorosa su più benchmark VLM, abbiamo scoperto che i nostri modelli mostrano significativi miglioramenti rispetto a vari metodi precedenti. I modelli specialistici giocano un ruolo cruciale in questo successo, poiché forniscono intuizioni dettagliate che migliorano le prestazioni del VLM in compiti diversificati.

#Conclusione e direzioni future

Sfruttando tecniche innovative di auto-augmentazione e di augmentazione specialistica, possiamo potenziare le capacità dei modelli di linguaggio visivo. Mentre continuiamo a spingere i confini di ciò che questi modelli possono raggiungere, siamo ansiosi di indagare su come la sinergia tra dati sintetici e reali possa portare a modelli fondazionali ancora più forti.

Attraverso la nostra ricerca, speriamo di contribuire alla comunità condividendo intuizioni su come questi metodi avanzati possano essere utilizzati, portando infine a modelli di linguaggio visivo migliori ed più efficaci. L'esplorazione di queste metodologie ha aperto strade per lo sviluppo e il miglioramento continuo in questo campo entusiasmante.