Avanzando i modelli multimodali con X-LLaVA

I modelli di linguaggio grandi (LLM) stanno diventando sempre più avanzati e ora vengono combinati con dati visivi per creare modelli multimodali grandi (LMM). Questi modelli possono elaborare diversi tipi di dati, non solo testo ma anche immagini. Tuttavia, creare questi modelli non è facile e può essere costoso, specialmente quando si tratta di raccogliere i dati di addestramento necessari. Questo diventa ancora più complicato quando si cerca di costruire dati multilingue per questi modelli, perché le lingue possono variare molto nella struttura e nello stile.

In questo progetto, vogliamo affrontare queste sfide proponendo due metodi economici: ampliare il vocabolario dei modelli esistenti e costruire dataset automaticamente usando un sistema chiamato GPT-4-V. Con questi metodi, abbiamo creato un dataset di addestramento che include 91.000 campioni in inglese, coreano e cinese. Abbiamo anche sviluppato un modello bilingue che funziona eccezionalmente bene sia in coreano che in inglese, facendo meglio dei modelli precedenti.

#Contesto sui Modelli Multimodali

Recentemente, gli LMM sono diventati popolari perché possono seguire istruzioni visive. È stato introdotto un modello chiamato LLaVA1.0, che ha utilizzato GPT-4 per creare un dataset per il riconoscimento visivo delle domande (VQA). Anche se questo approccio ha mostrato ottimi risultati, aveva delle limitazioni: usava solo il testo e supportava solo l'inglese.

LLaVA1.5 ha migliorato questo aspetto utilizzando un dataset multilingue chiamato ShareGPT, espandendo le sue capacità. Tuttavia, questo dataset mancava ancora di informazioni visive, cruciali per i compiti VQA. Il nuovo dataset chiamato ShareGPT4V ha affrontato questo problema incorporando dati visivi ma, come il suo predecessore, era limitato alla lingua inglese.

Per superare queste barriere, abbiamo deciso di creare un dataset multilingue focalizzandoci su informazioni oggettive e relazionali. Il nostro dataset contiene domande e risposte che coprono un'ampia gamma di argomenti, tra cui oggetti, località e conversazioni. Abbiamo scelto inglese, coreano e cinese come lingue target perché provengono da famiglie di lingue diverse.

#Riepilogo della Costruzione del Dataset

Abbiamo costruito un nuovo dataset con 23.496 coppie di domande e risposte relative ai contenuti visivi. L'obiettivo era assicurarci che il dataset catturasse una varietà di espressioni e contesti. Il dataset proposto per il seguire istruzioni visive multilingue (VIF) permetterà al nostro modello di funzionare meglio in diversi compiti.

Il nuovo modello, X-LLaVA, utilizza questo dataset e migliora il modello precedente, LLaVA1.5, con tre metodi specifici:

1. Espansione del vocabolario: Abbiamo aggiunto nuove parole specificamente per il coreano per rafforzare il modello, poiché aveva un vocabolario più ridotto rispetto all'inglese.
2. Addestramento Preliminare: Il modello è stato ulteriormente addestrato per collegare le conoscenze tra diverse lingue.
3. VIF Multilingue: Abbiamo condotto un addestramento che consente al modello di gestire istruzioni in più lingue.

I risultati iniziali hanno mostrato che X-LLaVA ha migliorato le performance in coreano di circa il 5,2% rispetto al modello precedente, KoLLaVA. Ha anche ottenuto buoni risultati in diverse valutazioni in inglese.

#Comprendere i Miglioramenti del Modello

#Espansione del Vocabolario

Uno dei problemi che abbiamo incontrato era che il vocabolario del modello di linguaggio esistente non supportava adeguatamente il coreano. Per risolvere questo, abbiamo ampliato il vocabolario per includere parole coreane aggiuntive. Dopo aver espanso il vocabolario, il nostro modello ha appreso nuove rappresentazioni che hanno reso possibile generare risposte in coreano in modo più efficace.

#Addestramento Preliminare

Inoltre, abbiamo condotto una fase di addestramento preliminare utilizzando dati da Wikipedia in coreano e inglese. Questo passaggio ha aiutato il modello a migliorare la sua comprensione e capacità di elaborare informazioni in entrambe le lingue.

#Seguire Istruzioni Visive Multilingue (VIT)

Infine, abbiamo applicato metodi VIT per addestrare il modello a comprendere meglio le istruzioni visive. Questo addestramento ha coinvolto l'uso del nostro dataset costruito di recente e ha rinforzato la capacità del modello di collegare immagini con risposte testuali appropriate in più lingue.

#Risultati Sperimentali

Nei nostri esperimenti, abbiamo valutato X-LLaVA utilizzando vari benchmark. L'obiettivo principale era analizzare quanto bene il modello si comportasse in diverse situazioni.

#Valutazione Quantitativa

Abbiamo utilizzato diversi dataset per valutare la performance del nostro modello. In particolare, abbiamo esaminato i dataset VQA sia in inglese che in coreano. I nostri risultati hanno evidenziato l'impatto dell'espansione del vocabolario e dei metodi di addestramento preliminare:

• La valutazione ha mostrato che X-LLaVA ha performato meglio rispetto ai modelli esistenti, specialmente in coreano.
• Il modello ha mantenuto anche buone performance in inglese, dimostrando che l'addestramento multilingue potrebbe beneficiare sia le lingue ad alto che a basso supporto.

#Valutazione Qualitativa

Oltre ai risultati quantitativi, abbiamo condotto valutazioni qualitative per capire quanto bene il modello potesse generare risposte significative. Abbiamo confrontato le risposte del nostro modello con quelle di altri modelli.

Le nostre scoperte hanno indicato che X-LLaVA ha superato la maggior parte degli altri modelli nella generazione di risposte dettagliate e contestualmente rilevanti. Abbiamo anche notato che l'espansione del vocabolario del modello ha contribuito positivamente alle sue performance, permettendo una maggiore varietà di risposte.

#Processo di Generazione dei Dati

Nel creare il nostro dataset, ci siamo concentrati su quattro tipi di dati:

1. Centrato sugli Oggetti: Descrive oggetti specifici in un'immagine.
2. Centrato sulle Località: Si concentra sulle posizioni relative degli oggetti.
3. Centrato sull’Ambiente: Si concentra sull'umore o l'atmosfera complessiva dell'immagine.
4. Conversazionale: Coinvolge dialoghi a più turni basati sulle immagini.

Per generare questi dati, abbiamo utilizzato GPT-4-V, fornendogli immagini e richieste che guidavano la creazione di domande e risposte diverse. Questo processo non solo ha generato una grande quantità di dati ma ha anche assicurato che fosse rilevante e applicabile in diversi contesti.

#Sfide nella Generazione dei Dati

Durante il processo di creazione dei dati, abbiamo affrontato diverse sfide. Uno dei problemi principali era garantire che le domande e le risposte fossero significative e culturalmente appropriate. Abbiamo dovuto eliminare risposte che contenevano pregiudizi o erano troppo focalizzate su una sola cultura.

Ad esempio, abbiamo notato che GPT-4-V a volte produceva risposte che includevano nomi propri o riferimenti culturali che non avrebbero avuto senso in tutte le lingue. Abbiamo filtrato questi elementi dal dataset per garantire una qualità superiore dei dati.

#Risultati della Valutazione

#Performance Comparativa

Per valutare le performance di X-LLaVA, l'abbiamo confrontato con diversi modelli affermati, tra cui BLIP-2, InstructBLIP, LLaVA1.5 e KoLLaVA. I risultati hanno mostrato:

• X-LLaVA ha ottenuto punteggi significativamente migliori nelle valutazioni in coreano e ha mantenuto performance competitive in inglese.
• I miglioramenti osservati sono stati particolarmente evidenti nei compiti che richiedono comprensione delle relazioni tra oggetti e contesti culturali specifici.

#Valutazione delle Preferenze

Oltre alle valutazioni quantitative e qualitative, abbiamo anche condotto una valutazione delle preferenze utilizzando annotatori umani. Le valutazioni umane hanno mostrato che X-LLaVA ha generato risposte più apprezzate rispetto ad altri modelli, in particolare in coreano.

La valutazione ha indicato che mentre GPT-4-V forniva ancora risposte superiori, X-LLaVA si è avvicinato molto. Quando abbiamo limitato le risposte per numero di parole, la performance di X-LLaVA rispetto a GPT-4-V è migliorata, suggerendo che la capacità di comunicare in modo conciso conta anche nella valutazione della qualità.

#Conclusione

In questo studio, abbiamo introdotto un framework per sviluppare un modello multilingue multimodale grande. Ci siamo concentrati sulla costruzione di un dataset dettagliato e sul miglioramento del processo di addestramento per migliorare la performance del modello tra le lingue. Il nostro modello X-LLaVA ha mostrato risultati promettenti, raggiungendo elevate performance sia in coreano che in inglese mantenendo risposte efficaci agli input visivi.

La nostra ricerca evidenzia l'importanza dell'espansione del vocabolario e dell'addestramento preliminare per i modelli multilingue. Come conseguenza di questo lavoro, abbiamo costruito una solida base per future indagini su LMM più estesi e multilingue. Quest'area rimane ricca di opportunità, specialmente su scale oltre quelle che abbiamo attualmente raggiunto.

Andando avanti, pianifichiamo di affinare ulteriormente il nostro modello e dataset. C'è un chiaro bisogno di indagare su come possiamo integrare più lingue e assicurarci che i nostri metodi siano robusti attraverso paesaggi linguistici e culturali diversi. La strada da percorrere è entusiasmante, con significative opportunità per avanzare la nostra comprensione e capacità nel campo dell'elaborazione multimodale.