Valutare i modelli linguistici con i dati dei grafici

Nella nostra ricerca, usiamo il dataset ChartQA, in particolare il suo set di test. Questo set di test ha due tipi principali di domande: quelle fatte da persone e quelle create da modelli. Ci sono 625 grafici diversi con un totale di 1250 coppie domanda-risposta generate da umani. Il set creato dai modelli consiste in 987 grafici unici con altrettante 1250 coppie domanda-risposta.

Modifichiamo leggermente questo dataset. Nella nostra versione, i grafici non hanno etichette che mostrano valori esatti accanto agli elementi del grafico, come barre o linee. Invece, il modello deve capire questi valori guardando ai grafici, usando indizi come l'altezza delle barre e le etichette sugli assi. Facciamo questo per testare se le prestazioni dei modelli linguistici dipendono dall'avere etichette chiare o se possono lavorare con indizi visivi. Per fare questa versione, abbiamo usato uno strumento chiamato Matplotlib e abbiamo tolto le etichette dei dati lasciando tutto il resto invariato. Dei 1509 grafici che abbiamo esaminato, 1340 sono stati modificati con successo, mentre 169 immagini non sono state usate perché mancavano di metadata importanti.

#Verifica dei Fatti con i Grafici

Per un'altra parte del nostro studio, abbiamo usato il dataset ChartFC. Questo dataset è progettato in modo che ogni voce abbia un'affermazione espressa chiaramente a parole, un'immagine grafica correlata e un'etichetta che dice se il grafico "sostiene" o "confuta" l'affermazione. Guardiamo ai modelli linguistici nel set di test di questo dataset, che ha 885 esempi che sostengono le affermazioni e 706 che le confutano. Il dataset consiste principalmente in grafici a barre, che possono essere orizzontali o verticali.

#Studio di Sintesi dei Grafici

Nel nostro lavoro sulla sintesi dei grafici, usiamo il benchmark Chart-to-Text. Questo benchmark è composto da due principali dataset: Statista e Pew. Ogni esempio in entrambi i dataset ha un'immagine grafica, una tabella di dati sottostante, un titolo del grafico e un riassunto scritto da una persona. Per i nostri esperimenti, usiamo l'intero set di test di entrambi i dataset, che include 1.393 campioni da Pew e 5.222 campioni da Statista.

#Compito di Domande e Risposte sui Grafici Aperte

Per vedere quanto bene si comportano i modelli linguistici su domande aperte sui grafici, usiamo il dataset OpenCQA. Questo dataset contiene cinque tipi di grafici: barre, linee, aree, dispersione e torta. Nei nostri esperimenti, prendiamo il set di test, che ha 1159 grafici insieme a 1159 coppie domanda-risposta.

#Quattro Livelli di Semantica

Per valutare i modelli a quattro livelli semantici, usiamo grafici dal dataset ChartQA e selezioniamo 50 esempi per i livelli 1, 2 e 3, e 150 esempi per il livello 4.

#Risultati di Valutazione

#Metriche di Prestazione

Valutiamo diversi modelli sul dataset OpenCQA. Punteggi più alti sono migliori, mentre punteggi più bassi sono migliori per alcune metriche.

#Accuratezza Rilassata

I risultati di ChartQA mostrano come si sono comportati i modelli sia sui set di test ChartQA standard che modificati. Si nota anche il calo delle prestazioni rispetto ai dati standard di ChartQA.

#Costruzione delle Domande

Per trovare i migliori prompt per i modelli, abbiamo provato molte strategie e abbiamo scelto quella che dava risultati costanti. Nell'esperimento zero-shot PAL, abbiamo creato un prompt chiedendo al modello di scrivere uno script Python che produce la risposta finale quando eseguito. Per il test semantico a 4 livelli, abbiamo scritto domande specifiche per ciascun livello semantico per vedere quanto bene i modelli possono identificare diversi livelli di significato nell'immagine del grafico.

#Esempi di Prompt Utilizzati

Esempi di Attività:

1. ChartQA

   • Prompt CoT: Dato l'immagine del grafico e una domanda, genera una risposta.
   • Prompt PAL: Crea uno script Python per la domanda di input.

2. Semantica a 4 Livelli

   • Livello 1: Domande sul tipo di grafico, etichette degli assi, significato dei colori, ecc.
   • Livello 2: Domande sui valori massimi e minimi, outlier, ecc.
   • Livello 3: Domande su tendenze o schemi nel grafico.
   • Livello 4: Analizzare il grafico in un paragrafo.

3. Prompt QA Grafico Aperto: Fornisci una risposta alla seguente domanda basata sul grafico fornito.

4. Prompt di Sintesi del Grafico: Riassumi il grafico enfatizzando le tendenze e i punti chiave dei dati.

5. Prompt di Verifica dei Fatti con i Grafici: Determina se l'affermazione di input è supportata dal grafico.

#Risultati Sperimentali Aggiuntivi

Qui, mostriamo ulteriori dettagli dalle nostre valutazioni automatiche su tre dataset: Chart-to-Text, OpenCQA e il benchmark ChartQA modificato.

#Tabelle di Prestazione

Includiamo tabelle che rappresentano le prestazioni dei modelli su varie metriche per diversi dataset. Un esempio mostrerebbe quanto bene ha fatto ogni modello sul dataset Chart-to-Text.

#Uscite di Esempio

Presentiamo anche esempi di risposte da diversi modelli a domande specifiche del set di test ChartQA, sia risposte corrette che errate.

#Risultati di Valutazione Semantica

#Valutazione di Livello 1

Nel livello 1, i modelli rispondono a domande semplici come che tipo di grafico è e quali sono gli intervalli degli assi. Ad esempio, se chiesto sul tipo di grafico, un modello potrebbe semplicemente dire "grafico a barre" mentre un altro potrebbe descriverlo più dettagliatamente.

#Valutazione di Livello 2

A livello 2, i modelli devono identificare intervalli e valori numerici. Ad esempio, potrebbero indicare quale asse ha valori massimi e quali sono questi valori.

#Valutazione di Livello 3

Nelle valutazioni di livello 3, i modelli descrivono le tendenze viste nei grafici. Dovrebbero essere in grado di notare tendenze al rialzo o al ribasso basate sui dati presentati nei grafici.

#Valutazione di Livello 4

Infine, al livello 4, i modelli forniscono un'analisi più profonda sui grafici. Dovrebbero essere in grado di discutere le implicazioni dei dati, confrontare regioni o gruppi, e possibilmente suggerire motivi per ciò che vedono.

#Errori Comuni e Illusioni

Durante i test, notiamo errori comuni e illusioni nelle uscite dei modelli. A volte, i modelli commettono errori sui colori, sulle tendenze o su punti dati specifici. Cataloghiamo questi errori in risposte soggettive, contraddizioni e informazioni inventate.

#Conclusione

In sintesi, abbiamo analizzato come i modelli linguistici possono interpretare i dati grafici in vari modi, dall'identificazione semplice all'analisi dettagliata. Questo studio ci consente di valutare le loro capacità e le aree che necessitano di miglioramento, soprattutto nel contesto dell'interpretazione dei dati visivi.

#Lavori Futuri

In futuro, puntiamo a perfezionare il modo in cui i modelli elaborano e analizzano i dati grafici, concentrarci su una comunicazione più chiara dei risultati e migliorare la loro accuratezza nel produrre riassunti e risposte basate sulle informazioni visive.