Usare immagini per potenziare la previsione delle parole nei compiti di lingua

Il gioco di Shannon è un compito classico usato negli studi linguistici. Chiede alle persone di indovinare la prossima lettera in una frase basata su ciò che è venuto prima. In questo studio, ampliamo questa idea aggiungendo le Immagini come opzione. Vogliamo vedere come usare sia il testo che le immagini può aiutare le persone e un modello di computer a indovinare le Parole meglio.

Abbiamo fatto partecipare persone reali e un modello di linguaggio, GPT-2, al gioco. I nostri risultati mostrano che quando vengono incluse immagini, sia le persone che il computer riescono a indovinare la prossima parola con più precisione e si sentono più sicuri nei loro indovinelli. Interessante notare che certi tipi di parole, come i sostantivi e i determinanti, hanno fatto molto meglio con l'aiuto delle immagini.

Man mano che aumentava la quantità di Contesto-cioè le informazioni extra dall'immagine aggiunte alla frase-gli indovinelli miglioravano ancora di più. Questo dimostra che usare le immagini insieme al testo può davvero aiutare nei compiti linguistici.

#Come Funziona il Gioco

Il gioco originale di Shannon è progettato per mostrare quanto sia prevedibile la lingua inglese. Inizia con un partecipante che cerca di indovinare quale lettera viene dopo. Sceglie tra 26 lettere o uno spazio. Quando fa un'indovinello, viene mostrata la lettera corretta, e indovina la successiva.

Nella nostra versione, presentiamo una frase insieme a un'immagine. Ad esempio, se mostriamo la frase "Diversi piatti di cibo sono messi su un tavolo," insieme a un'immagine correlata, il partecipante pensa alla prossima parola dopo le prime tre parole. Poi valuta quanto si sente sicuro del suo indovinello. Dopo che la parola è rivelata, possono vedere quanto erano vicini e riflettere sulla loro precisione.

Studi precedenti hanno dimostrato che gli esseri umani possono indovinare parole meglio quando ricevono contesto. Questo è stato esplorato usando un metodo chiamato procedura cloze, dove i volontari riempiono le parole mancanti in base a ciò che vedono prima e dopo il vuoto. Il nostro gioco è simile, ma utilizza solo il contesto a sinistra, senza suggerimenti a destra.

Molti studi precedenti si sono concentrati solo sul testo, ma volevamo vedere come le immagini possono anche aiutare. Confrontiamo quanto bene si comportano le persone e il modello di linguaggio con solo testo e con sia testo che immagini.

#Studi Correlati

Prima di questo studio, i ricercatori hanno esaminato come il contesto influisce sulla previsione delle parole. Studi iniziali si basavano su compiti che prevedevano frasi. Anche se alcune squadre hanno incluso immagini in precedenza, queste non erano direttamente correlate al compito di indovinello.

Pensiamo che prevedere la prossima parola in una frase ci dia una grande opportunità di studiare come il contesto influenzi il processamento linguistico. Gli effetti del contesto possono variare e sono stati mostrati in studi cerebrali, dove i ricercatori hanno scoperto che come il cervello reagisce a una parola può dipendere da ciò che è stato detto in precedenza.

Alcuni studi passati hanno esaminato come il contesto visivo impatta la comprensione delle frasi, ma non hanno esplorato direttamente come le immagini possano fungere da suggerimenti per indovinare le parole. Il nostro obiettivo è colmare questa lacuna osservando come le immagini o le informazioni provenienti dalle immagini possano aiutare nella previsione delle parole nel contesto del nostro gioco.

#Priming e Prompting

Il priming è un'idea ben nota in psicologia. Si verifica quando la presentazione di uno stimolo influisce sul processamento di un altro stimolo successivo. Ad esempio, se qualcuno vede la parola "gatto," probabilmente risponderà più rapidamente a "cane" in seguito, perché queste due parole sono correlate.

Il prompting è simile, ma viene usato nei modelli di linguaggio. Significa dare un contesto extra per aiutare i modelli a completare un compito. Nel nostro gioco, valutiamo se gli indizi visivi aiutano gli umani e i modelli di linguaggio a prevedere le parole nello stesso modo.

I nostri risultati suggeriscono che usare immagini aiuta sia le persone che il modello di linguaggio a indovinare le parole meglio. Abbiamo esaminato come le informazioni visive possano aiutare a prevedere la prossima parola in una frase.

#Impostazione dell'Esperimento

Nel nostro gioco, i partecipanti cercano di indovinare la prossima parola basandosi sulle parole precedenti. Abbiamo testato cinque configurazioni diverse. In una configurazione, non è stata mostrata alcuna immagine, mentre in un'altra, è stata fornita l'immagine intera. Ai partecipanti è stato chiesto di prevedere la prossima parola e valutare la loro fiducia nei loro indovinelli.

Un totale di 24 partecipanti provenienti da vari background hanno partecipato. Erano tutti parlanti non nativi di inglese abbastanza abili nella lingua. Ogni partecipante ha visto 17 frasi con configurazioni assegnate casualmente.

L'interfaccia è stata progettata come un'applicazione web per consentire a più persone di partecipare. I partecipanti vedevano una frase, indovinavano la prossima parola e poi si valutavano su quanto fosse accurato il loro indovinello. Il processo continuava fino alla fine della frase.

#Risultati dell'Esperimento

Abbiamo scoperto che la presenza di immagini ha notevolmente aumentato sia l'Accuratezza che la fiducia negli indovinelli. La configurazione in cui è stata mostrata l'immagine intera ha portato ai migliori risultati sia per l'accuratezza che per le valutazioni di fiducia. Nelle configurazioni senza immagine, i partecipanti si sentivano meno sicuri nei loro indovinelli.

Quando si usavano solo etichette di testo o frammenti dell'immagine, i partecipanti mostrano comunque una maggiore fiducia rispetto alla configurazione senza immagine. Tuttavia, la configurazione che forniva tutte le etichette e gli oggetti nell'immagine a volte era distraente.

Come previsto, i partecipanti mostravano una fiducia più bassa all'inizio delle frasi. Per la prima parola, indovinavano principalmente articoli o non tentavano un indovinello.

Alcuni tipi di parole erano più facili da prevedere. Ad esempio, i partecipanti erano migliori nel indovinare i determinanti rispetto ai sostantivi. Questo era interessante perché le parole iniziali non avrebbero dovuto essere influenzate da ciò che era mostrato nelle immagini.

#Risultati del Modello Linguistico

Abbiamo anche condotto l'esperimento con il modello di linguaggio GPT-2. Per questa parte, ci siamo concentrati su due configurazioni: senza immagine e immagini con etichette di testo. Il modello ha mostrato risultati leggermente migliori quando ha usato le etichette dell'immagine per aiutare nell'indovinare.

I modelli che abbiamo visto sia negli esseri umani che nel modello indicavano che entrambi avevano più fiducia e facevano indovinelli più accurati quando erano forniti di informazioni extra. Tuttavia, la relazione tra i punteggi umani e i punteggi del modello variava quando erano incluse le immagini.

#Conclusioni

In sintesi, il nostro studio mostra che gli indizi visivi possono aiutare a prevedere la prossima parola in una frase. Il gioco che abbiamo creato ha mostrato che qualsiasi informazione visiva influisce positivamente sulla fiducia e sull'accuratezza quando si indovinano le parole. Tra tutte le opzioni, usare l'immagine intera ha dato i migliori risultati.

Abbiamo anche notato che gli effetti del contesto e dei tipi di parole influenzavano quanto bene i partecipanti potessero prevedere le parole. Più contesto c'è, più chiari diventano questi effetti.

Studi futuri potrebbero esaminare diversi tipi di immagini o anche altre forme di input, come video o suono, per vedere come si confrontano. Lo studio attuale era principalmente focalizzato sull'inglese, suggerendo che altre lingue potrebbero comportarsi diversamente in compiti simili.

In generale, il nostro lavoro ha aperto nuove strade per esplorare come combinare testo e immagini possa aiutare sia gli esseri umani che le macchine a comprendere e prevedere meglio il linguaggio.