Nuovo benchmark rivela i limiti dei modelli di linguaggio visivo

I modelli linguistici di grande dimensione (LLM) hanno dimostrato di saper imparare velocemente da pochi esempi, adattandosi a nuovi Compiti senza cambiare le loro impostazioni interne. Questo processo è conosciuto come apprendimento in contesto (ICL). Di recente, ha attirato l'attenzione un nuovo tipo di modello chiamato modelli linguistici di grande dimensione visivi (VLLM), che combinano input testuali e visivi. Questi modelli hanno fatto progressi in aree come il riconoscimento e il ragionamento visivo. Tuttavia, gran parte della ricerca esistente si è concentrata principalmente su compiti come rispondere a domande sulle immagini o creare descrizioni delle immagini, lasciando molte altre potenziali applicazioni inesplorate.

In questo articolo, introduciamo un nuovo Benchmark progettato per testare vari compiti che richiedono sia immagini che testo. Il nostro obiettivo è rivelare i punti di forza e di debolezza dei VLLM attuali, dimostrando che anche i modelli più avanzati possono avere difficoltà con questi compiti. Presentando una vasta gamma di nuovi compiti ICL, speriamo di ispirare future ricerche in questo campo.

#Contesto e Motivazione

#L'Impostazione del Problema ICL

Nella nostra ricerca, abbiamo impostato uno scenario in cui un VLLM pre-addestrato utilizza alcuni esempi per fare previsioni. Questa situazione è diversa da uno scenario zero-shot, dove il modello si basa esclusivamente su ciò che ha imparato in precedenza senza esempi aggiuntivi. Lo scenario zero-shot è stato studiato approfonditamente, mentre le valutazioni ICL non hanno ricevuto lo stesso livello di attenzione.

#Pratica Comune nella Valutazione ICL

I ricercatori hanno per lo più utilizzato pochi benchmark comuni per valutare quanto bene i VLLM possano imparare in contesto. Questi benchmark si concentrano solitamente su rispondere a domande sulle immagini o creare descrizioni di esse. Tuttavia, sosteniamo che questi compiti non catturano completamente le capacità dell'ICL e non sfidano adeguatamente i modelli.

Esaminando i risultati di vari benchmark, troviamo che la maggior parte dei modelli mostra solo un miglioramento limitato man mano che riceve più esempi. I benchmark esistenti possono portare i ricercatori a credere che i VLLM abbiano forti capacità in ICL, quando in realtà mostrano principalmente miglioramenti nella formattazione dell'output piuttosto che nel migliorare le loro abilità di risoluzione dei compiti.

#Il Nostro Nuovo Benchmark

Per valutare meglio le capacità ICL dei VLLM, abbiamo creato un benchmark innovativo composto da vari compiti che richiedono sia immagini che testo. Questo benchmark copre sfide come il riconoscimento di dettagli, il ragionamento sulle informazioni e la gestione di contesti più lunghi. Il nostro obiettivo è fornire una valutazione che rifletta accuratamente le abilità e le limitazioni dei modelli attuali.

#Panoramica dei Compiti

Il benchmark include una varietà di compiti, ciascuno mirato a diverse abilità. Questi compiti vanno da formati immagine-testo in cui i modelli descrivono le immagini, a formati testo-immagine in cui i modelli generano immagini basate su indicazioni testuali. Alcuni compiti richiedono ai modelli di contare oggetti nelle immagini, mentre altri riguardano la risoluzione di semplici problemi matematici con numeri trovati nelle immagini.

Esaminando come si comportano i VLLM in questi compiti, possiamo trarre conclusioni sui loro punti di forza e di debolezza, così come sullo stato attuale dell'ICL Multimodale.

#Risultati Principali

#Panoramica delle Prestazioni nei Compiti

Quando abbiamo testato i migliori modelli sul nostro benchmark, abbiamo trovato che la maggior parte dei modelli dimostra la capacità di imparare da pochi esempi attraverso diversi compiti. Tuttavia, c'è una differenza notevole in quanto bene si comportano a seconda del compito specifico valutato.

Alcuni VLLM hanno mostrato miglioramenti significativi man mano che venivano aggiunti più esempi, mentre altri hanno faticato a dimostrare un apprendimento coerente. I risultati indicano che, mentre si sta facendo progressi, molti modelli affrontano ancora sfide quando si tratta di utilizzare efficacemente più esempi.

#Apprendimento dai Esempi

I risultati mostrano anche che, sebbene più esempi possano talvolta aiutare le prestazioni, non è sempre così. In alcuni compiti, aggiungere troppi esempi ha portato a una diminuzione delle prestazioni, suggerendo che i modelli possono confondersi quando viene presentata troppa informazione in una sola volta.

Interessantemente, il modello più forte nei nostri test si è rivelato essere GPT4V, che ha costantemente performato bene nei compiti. Tuttavia, non è stato sempre il migliore in ogni situazione di compito individuale.

#Ulteriore Analisi

#Associazione Rapida dei Concetti

Uno dei compiti nel nostro benchmark si è concentrato sui modelli che imparano rapidamente a associare nomi inventati con immagini. I risultati hanno rivelato che i VLLM hanno avuto difficoltà quando si sono trovati di fronte a questi nuovi setup di compito. Il compito di associazione rapida dei concetti ha richiesto uno sforzo extra da parte dei modelli per imparare in modo accurato.

#Confronto tra Apprendimento Multimodale e Solo Testo

Per indagare ulteriormente le differenze tra l'apprendimento basato sulle immagini e quello basato sul testo, abbiamo confrontato quanto bene i modelli si sono comportati quando hanno ricevuto descrizioni testuali invece di immagini. I risultati hanno mostrato che i modelli solitamente performano meglio con input testuali, poiché possono concentrarsi di più sul ragionamento senza la sfida aggiuntiva del riconoscimento delle immagini.

#Scalabilità con Maggiori Esempi

Abbiamo anche esaminato come i modelli si siano comportati man mano che il numero degli esempi aumentava. Alcuni modelli hanno migliorato le loro prestazioni man mano che ricevevano più esempi, mentre altri hanno faticato. Le differenze nelle prestazioni evidenziano la necessità di migliori metodi di addestramento che possano gestire più esempi senza sopraffare i modelli.

#Analisi Qualitativa

Abbiamo esaminato approfonditamente come i modelli hanno gestito compiti specifici e abbiamo osservato alcuni errori comuni che hanno commesso. Ad esempio, nel compito di riconoscimento delle immagini, i modelli spesso predicevano classi del mondo reale invece dei nomi inventati. Questa confusione era meno frequente quando i modelli avevano più esempi da cui imparare.

In un altro compito che comportava il conteggio di oggetti nelle immagini, i modelli a volte fraintendevano la domanda o producevano conteggi errati. Questi errori potrebbero derivare da difficoltà nel riconoscere oggetti o nel ricordare i dettagli dei loro esempi di addestramento.

#Lavori Correlati

Man mano che i VLLM continuano a svilupparsi, i ricercatori stanno creando vari benchmark per valutare le loro capacità. Molti di questi benchmark si concentrano su compiti specifici e scenari a singola immagine, lasciando l'assessment delle capacità ICL relativamente inesplorato. Il nostro lavoro cerca di colmare questa lacuna fornendo una valutazione completa che copre sia i compiti testo-immagine che immagine-testo.

#Conclusione

Abbiamo introdotto un nuovo benchmark per valutare le capacità ICL multimodali nei VLLM, andando oltre le valutazioni limitate esistenti. Il nostro benchmark testa una vasta gamma di abilità tra cui ragionamento, percezione e gestione di contesti lunghi.

Speriamo che il nostro lavoro motivi gli sviluppatori di modelli a affrontare l'intero spettro delle sfide in ICL e aiuti i praticanti a comprendere le attuali capacità e limitazioni dei VLLM mentre il campo continua a evolversi. Man mano che la ricerca avanza, intendiamo espandere il nostro benchmark per includere più compiti e modelli in futuro.