Valutare i Grandi Modelli di Linguaggio con Testo Strutturato

Molte aziende raccolgono e memorizzano grandi quantità di Dati Strutturati. Questi dati sono organizzati e facili da analizzare. Con il miglioramento della tecnologia, cresce la necessità di modelli che possano comprendere direttamente i dati strutturati, specialmente in un formato non strutturato. Questo articolo presenta un nuovo metodo per verificare quanto bene i grandi modelli linguistici (LLM) possano gestire testi strutturati.

#La necessità di comprendere i dati strutturati

I dati strutturati, come tabelle o elenchi, sono importanti per le aziende perché permettono di memorizzare e analizzare informazioni in modo sistematico. Questo è molto più facile rispetto ai dati non strutturati, che sono caotici e più difficili da elaborare. I recenti progressi negli LLM hanno spostato l'attenzione su come questi modelli possano lavorare con dati non strutturati. Tuttavia, i dati strutturati possono essere espressi anche in modi come il testo, e questo solleva la domanda se gli LLM possano interpretare i dati strutturati quando presentati come testo normale.

Sebbene alcune ricerche abbiano esaminato come gli LLM comprendano il testo strutturato, il focus è stato per lo più su pochi tipi, come tabelle o JSON. Molte altre forme di dati strutturati non sono state ben esaminate. I test esistenti spesso si basano su dati controllati manualmente dalle persone, il che può limitare la loro efficacia.

#Introduzione di un nuovo metodo di test

Per affrontare questa lacuna, abbiamo sviluppato un metodo per creare automaticamente dati di Valutazione specificamente per valutare quanto bene gli LLM comprendano il testo strutturato. Questo metodo può generare dati in vari formati, rendendo più facile testare diverse abilità degli LLM. Abbiamo chiamato questo benchmark StrucText-Eval. Include migliaia di domande su diversi formati e compiti strutturati, permettendoci di valutare in modo completo le capacità degli LLM.

#Struttura di StrucText-Eval

StrucText-Eval contiene oltre 6.000 domande e copre otto formati di dati strutturati, tra cui JSON, YAML e Markdown. Ha anche vari compiti che richiedono al modello di dimostrare la propria comprensione dei dati strutturati. Per sfidare ulteriormente i modelli, c'è un sottoinsieme noto come StrucText-Eval-Hard, progettato per spingere i confini della loro comprensione.

#Risultati del benchmark

I risultati preliminari mostrano che i migliori LLM attualmente raggiungono un’accuratezza di circa il 65% sulle domande difficili, mentre i partecipanti ai test umani hanno ottenuto circa il 95%. Questo divario sostanziale indica che gli LLM faticano ancora a comprendere dati strutturati complessi. Sebbene l'affinamento degli LLM con il nostro benchmark possa migliorare le loro prestazioni, non garantisce un aumento per tutti i tipi di compiti.

#Importanza dei formati di dati strutturati

I dati strutturati si presentano in diversi formati, e ognuno ha le sue regole e strutture. Esempi includono strutture ad albero, tabelle e notazione degli oggetti (come JSON o XML). Comprendere questi vari formati è cruciale per gli LLM, poiché devono eseguire correttamente compiti che richiedono di interpretare i dati in queste strutture.

#Sfide nella valutazione degli LLM

Quando messi a confronto con i tester umani, gli LLM mostrano che hanno margini di miglioramento nella loro capacità di comprendere i dati strutturati. Le valutazioni attuali si concentrano spesso troppo su certi formati, trascurando molte possibili applicazioni.

La sfida sta nella complessità dei dati strutturati e nelle sottigliezze coinvolte nell'interpretazione. Ad esempio, i linguaggi strutturati possono avere caratteristiche uniche che il testo normale non possiede, rendendoli più difficili da afferrare per i modelli linguistici.

#Come funziona StrucText-Eval

StrucText-Eval utilizza un approccio sistematico per valutare i modelli nella comprensione dei dati strutturati. Costruendo alberi di struttura astratta e creando modelli di domande specifiche, possiamo regolare la complessità dei dati di valutazione generati.

#Tassonomia dei testi ricchi di struttura

La valutazione copre un'ampia gamma di dati strutturati, categorizzati in diversi tipi secondo il loro formato. C'è una chiara tassonomia che classifica questi formati e mette in evidenza le loro caratteristiche uniche.

Il benchmark include tipi strutturati come:

• Strutture ad albero
• Formati tabulari
• Notazione degli oggetti (JSON, YAML e XML)

Ci sono anche tipi semi-strutturati come i linguaggi di markup (Markdown, LaTeX e Org). Questa classificazione aiuta a comprendere come gli LLM si comportano tra i diversi tipi di dati strutturati.

#Generazione di dati di valutazione

La creazione dei dati di valutazione avviene impostando domande modello e sviluppando algoritmi per trovare le risposte. Ogni domanda nel dataset consiste di quattro parti chiave: Riferimento, Domanda, Requisito e Risposta. Seguendo questi schemi, garantiamo un approccio coerente nella valutazione degli LLM.

#Valutazione e analisi delle prestazioni

Negli esperimenti, abbiamo testato diversi LLM, sia closed-source che open-source, per vedere come si comportavano nei compiti forniti da StrucText-Eval. Ogni modello è stato sottoposto a vari design di prompt per esaminare le differenze di prestazioni.

#Metodo basato su prompt

Sono state utilizzate diverse strategie di prompt per vedere come influenzassero le prestazioni del modello. Gli approcci includevano:

• Domande dirette, dove solo la domanda segue l'input strutturato.
• Pensare ad alta voce, dove il modello spiega il proprio ragionamento prima di rispondere.
• Fornire esempi per aiutare a guidare il modello nella comprensione del compito.

#Metodi di affinamento

In aggiunta, sono state implementate diverse strategie di affinamento per migliorare le prestazioni dei modelli esistenti con dati strutturati. L'affinamento ha mostrato risultati promettenti, soprattutto in linguaggi specifici come YAML e strutture ad albero.

#Approfondimenti dai risultati

In tutte le valutazioni, è diventato chiaro che c'è un divario significativo tra i modelli con le migliori prestazioni e la comprensione umana dei dati strutturati. Gli LLM spesso faticano con compiti che richiedono una profonda comprensione degli elementi strutturali, particolarmente di fronte a formati complessi.

#Le sfide delle attività procedurali per gli LLM

Un'area in cui gli LLM tendono a performare male è nelle attività procedurali che coinvolgono la manipolazione e la comprensione di informazioni strutturate. Questi compiti richiedono spesso al modello di seguire una sequenza di passaggi o logica, il che può essere difficile da gestire per loro.

Le metriche di prestazione hanno mostrato che man mano che la complessità delle domande aumentava, i modelli affrontavano maggiori sfide, sottolineando la necessità di migliorare le metodologie di formazione e valutazione.

#Direzioni future

StrucText-Eval apre la strada a ulteriori ricerche su come i modelli possano comprendere meglio il testo strutturato. Sottolinea inoltre la necessità di sviluppare metodi di formazione più sofisticati per migliorare le capacità dei modelli nella gestione di lingue strutturate diverse.

#Conclusione

In sintesi, StrucText-Eval è uno strumento essenziale per valutare e migliorare come gli LLM comprendano i dati strutturati. Anche se ci sono stati progressi notevoli, rimangono significativi lacune tra le capacità dei modelli e le prestazioni umane. I risultati evidenziano l'importanza di continue sforzi per perfezionare le tecniche di valutazione e migliorare la formazione dei modelli per colmare questi divari.

Concentrandoci sui dati strutturati e sui loro vari formati, possiamo lavorare per sviluppare modelli che non solo rispondano in modo preciso, ma dimostrino anche una comprensione più profonda delle complessità intrinseche nei testi strutturati.