Migliorare l'estrazione delle informazioni con la tecnica del prompt mirato

I recenti progressi nei grandi modelli di visione e linguaggio hanno cambiato il modo in cui estraiamo informazioni dai documenti. Questi modelli hanno migliorato il modo in cui le aziende e le industrie creano sistemi che rispondono a domande basate su immagini di documenti. Sono bravissimi nel trasformare immagini in testo e nel fornire risposte precise a domande. Tuttavia, ci sono delle sfide quando si tratta di usare questi modelli per creare sistemi di conversazione efficienti. I metodi di prompting regolari che funzionano per i modelli di linguaggio standard spesso non si adattano bene a questi modelli di visione linguaggio. Le risposte dai prompt generali possono essere vaghe e perdere dettagli importanti rispetto al contenuto reale del documento. Serve un approccio più mirato nel prompting per ottenere risposte specifiche e accurate dal modello.

#Tecnica di Prompting Target

Un metodo proposto si chiama "Target Prompting." Questa tecnica si concentra nel guidare il modello verso parti specifiche di un'immagine di documento, permettendogli di generare risposte solo relative a quelle sezioni. Il documento discute come questo metodo può migliorare l'estrazione di informazioni da documenti immagine.

#Importanza dell'Estrazione di Informazioni

Estrarre informazioni da grandi documenti e report con l'aiuto di modelli linguistici avanzati ha migliorato notevolmente il modo in cui la conoscenza viene condivisa e accessibile. Molti settori stanno cercando di usare questi modelli per le loro applicazioni, portando allo sviluppo di sistemi potenziati dall'IA che rendono più facile per gli utenti accedere alle informazioni.

Questi modelli sono bravi ad imparare informazioni fattuali. Tuttavia, faticano a utilizzare quella conoscenza in modo efficace. Per superare queste limitazioni, sono stati introdotti i pipeline RAG. Questi pipeline combinano una base di conoscenze con il modello, ampliando la sua memoria e le informazioni da cui può attingere senza fare affidamento solo sulla sua capacità di apprendimento.

I sistemi RAG sono costruiti per trovare rapidamente informazioni rilevanti in base alle richieste degli utenti. Usano Database Vettoriali, che memorizzano i dati come vettori di embedding. Il processo inizia con un codificatore che trasforma i dati testuali in questi formati vettoriali. Un recuperatore poi estrae parti rilevanti dal deposito vettoriale per assistere il modello linguistico nella generazione di risposte per le domande.

#Pipeline RAG e la Loro Funzione

L'efficacia dei sistemi RAG dipende da quanto bene i dati siano elaborati e organizzati nei database vettoriali. Per gestire grandi documenti, è fondamentale che l'estrattore di dati funzioni bene. Quanto precisamente il sistema può estrarre informazioni dai documenti influisce sulla qualità delle risposte prodotte dal modello linguistico. Più l'informazione estratta è vicina a ciò che c'è nei documenti, migliori saranno le risposte.

Gli strumenti standard di parsing dei documenti funzionano bene per documenti dove il testo è digitato. Tuttavia, sorgono problemi quando il compito è estrarre informazioni da documenti basati su immagini, che hanno testo incorporato nelle immagini. Il Riconoscimento Ottico dei Caratteri (OCR) può convertire immagini scansionate in testo digitale, ma spesso fatica a distinguere caratteri simili, portando a una perdita di informazioni.

Documenti complessi con testi intricati sono difficili da interpretare. Qui è dove i sistemi multi-modali brillano, poiché fanno un lavoro migliore nell'estrazione delle informazioni. Anche se i modelli di visione linguaggio sono superiori, ci sono ancora problemi nel istruirli accuratamente per ottenere le informazioni necessarie dai documenti. I prompt generali possono aiutare a ottenere un riassunto dell'immagine, ma spesso non riescono a fornire risposte complete e dettagliate.

#Il Problema del Prompting Generale

Quando si usano prompt generali, le risposte tendono ad essere ampie e a coprire il significato generale dell'immagine del documento. Se l'intenzione è quella di afferrare solo l'idea principale, un prompt di descrizione generale è sufficiente. Tuttavia, quando gli utenti cercano risposte dettagliate, l'output generato spesso manca di informazioni specifiche, portando a discrepanze tra la risposta del modello e il contenuto originale.

Il modello di generare risposte vaghe è comune nella maggior parte dei documenti utilizzati negli esperimenti. I risultati spesso fondono tutti i dettagli in un unico blocco di testo, il che non aiuta gli utenti che cercano informazioni specifiche.

#Vantaggi del Target Prompting

Il target prompting affronta il problema dell'estrazione di informazioni specifiche. Guidando il modello a concentrarsi su un'area particolare dell'immagine del documento, le risposte possono essere più accurate. Questo metodo consente al modello di rispondere a domande basate su parti identificate del documento, piuttosto che riassumere l'intera immagine.

Con domande mirate rivolte a segmenti distinti delle immagini dei documenti, come tabelle o diagrammi, le risposte diventano più chiare e più precise. La qualità dell'immagine gioca un ruolo significativo; immagini ad alta risoluzione in genere producono risultati migliori rispetto a quelle di bassa qualità.

Esperimenti su diversi tipi di documenti, tra cui tabelle, infografiche e sezioni di testo lunghe, hanno mostrato che i modelli funzionano eccezionalmente bene quando si pongono domande specifiche adattate alle esigenze. La tecnica del target prompting ha mostrato grande promessa nel rendere il processo di estrazione delle informazioni più accurato e gestibile.

#Design Sperimentale

Il processo inizia con un'immagine e un prompt che guida il modello a generare testo dall'immagine del documento. Viene utilizzato un dataset di immagini di documenti open-source per l'esperimentazione. L'obiettivo non è quello di fare benchmark del sistema, ma di dimostrare un modo efficace di indirizzare il modello per l'estrazione delle informazioni.

Il modello scelto, Phi-3-vision-instruct, è un modello multimodale che elabora sia immagini che prompt testuali, generando output testuali. Consiste di due componenti principali: il codificatore dell'immagine e il decodificatore transformer. Il codificatore dell'immagine, CLIP ViT-L/14, elabora il contenuto visivo dell'immagine di input, e il decodificatore transformer, Phi-3-mini-128k-instruct, genera testo in base agli input visivi e testuali combinati.

Il dataset per l'esperimento consiste in circa 1900 righe di immagini, prompt e metadati associati. Un sottoinsieme di immagini di alta qualità è stato selezionato con attenzione per garantire chiarezza e risoluzione, e queste immagini sono abbinate a prompt specifici che mirano a certe informazioni.

#Processo di Estrazione delle Informazioni

La funzione di estrazione inizia con il modello e il processore inizializzati con l'immagine e il prompt. Il processore gestisce l'elaborazione e la tokenizzazione dell'immagine, mentre il modello genera le risposte. L'estrazione si svolge in un ciclo sulle immagini selezionate e valuta i risultati in base alle richieste degli utenti.

Il prompt di input combina sia la richiesta dell'utente che il prompt del sistema, assicurandosi che sia nel formato giusto per la funzione di estrazione. L'esperimento si concentra specificamente sulle immagini di documenti che includono tabelle e report con grafici. A causa delle immagini duplicate, solo un selezionato gruppo è utilizzato per i test.

#Il Ruolo del Prompting Generale

Il prompting generale è un metodo utilizzato per guidare un modello pre-addestrato nel condurre nuovi compiti fornendo istruzioni chiare. Per rispondere a domande mirate o estrarre dati, il prompt deve essere adattato alla parte specifica del documento da cui si necessitano informazioni.

Quando vengono impiegati prompt generali, le risposte generate coprono il significato complessivo dell'immagine. Se l'obiettivo è quello di comprendere l'idea generale, una descrizione generale è sufficiente per il contesto. Tuttavia, descrizioni dettagliate spesso risultano in informazioni incomplete, evidenziando la differenza tra il contenuto generato e il documento originale.

#L'Efficacia del Target Prompting

Il target prompting migliora significativamente l'estrazione di informazioni mirate. Guidando esplicitamente il modello a descrivere certe parti di un documento, si può ottenere una migliore performance. Questo approccio mirato consente di estrarre risposte precise senza contenuti non necessari.

Le domande mirate si concentrano su aree specifiche nell'immagine del documento, come grafici o segmenti di tabella. Questo porta a risposte più chiare e accurate, allineandosi maggiormente con le risposte attese. I risultati dipendono anche dalla qualità dell'immagine: risoluzioni più alte portano a risultati migliori.

Quando sono stati testati vari tipi di documenti, inclusi diagrammi e tabelle, i modelli hanno mostrato un successo notevole quando sono state poste domande specifiche. Concentrandosi su un'area designata di un'immagine ed estraendo informazioni esclusivamente da quella sezione, si migliora notevolmente la performance e l'accuratezza del modello.

#Conclusione e Lavori Futuri

Il metodo di target prompting consente un migliore controllo sulle risposte generate dal modello di visione linguaggio, Phi-3-vision-instruct. Anche se i risultati non sono sempre perfetti, rappresentano un miglioramento significativo nell'estrazione di informazioni da sezioni specifiche delle immagini.

Ci sono ulteriori possibilità per migliorare le risposte del modello e l'accuratezza, ma questo richiede ulteriori test e valutazioni con dataset più complessi. I lavori futuri intendono espandere il dataset e continuare gli esperimenti per valutare le performance e l'accuratezza di questo metodo su documenti sempre più complessi.