Avanzando nella disambiguazione semantica visiva delle parole

La disambiguazione del significato delle parole visive (VWSD) è il compito di trovare l'immagine giusta che corrisponde a un significato specifico di una parola basato su una breve descrizione. Non è un compito facile, dato che richiede di capire sia il linguaggio che le immagini.

#La Sfida del VWSD

Quando ci imbattiamo in una parola, può avere diversi significati a seconda del Contesto in cui è usata. Ad esempio, la parola "banca" può riferirsi a un'istituzione finanziaria o al lato di un fiume. Nel VWSD, il nostro obiettivo è scegliere l'immagine migliore da un gruppo di opzioni che si adatti al significato intendendolo della parola, data una breve descrizione che include la parola e il suo contesto.

In molti casi, come nei motori di ricerca di immagini o quando si risponde a domande visivamente, sapere quale immagine è corretta rispetto al significato della parola può migliorare significativamente le prestazioni di queste applicazioni.

#Il Compito di SemEval 2023

A una recente competizione chiamata SemEval 2023, c'era un compito focalizzato sul VWSD. I partecipanti dovevano scegliere l'immagine migliore da dieci immagini candidate basato su una breve descrizione. Le descrizioni includevano tipicamente la parola target e una parola di contesto. Ad esempio, in "albero andromeda", "andromeda" è la parola target e "albero" fornisce contesto, aiutando a chiarire quale significato di "andromeda" è rilevante.

Gli organizzatori del compito hanno fornito tre set di dati. I set di prova e di addestramento erano in inglese, mentre il set di test includeva più lingue: inglese, italiano e persiano. I team potevano inviare soluzioni per una o tutte e tre le lingue, e i sistemi sono stati classificati in base alla loroaccuratezza in queste categorie.

#Il Nostro Approccio al VWSD

Abbiamo sviluppato un sistema per il compito VWSD che utilizzava una combinazione di diversi metodi. Al centro del nostro sistema c'era un classificatore che usava un modello noto per combinare comprensione linguistica e visiva chiamato CLIP. Il nostro approccio ha anche utilizzato informazioni aggiuntive da Wikipedia e altri database lessicali per migliorare i risultati.

Nella competizione, il nostro sistema si è classificato terzo nella categoria multilingue e ha ottenuto il primo posto nella parte persiana del compito. Abbiamo reso il nostro codice e i modelli utilizzati pubblicamente disponibili, in modo che altri possano replicare il nostro lavoro.

#Panoramica del Sistema

Il nostro sistema VWSD include diversi componenti principali.

1. Classificatore Basato su CLIP: Questa parte utilizza un modello che allinea immagini e testo. Valuta ciascuna immagine in base alla sua somiglianza con la descrizione fornita. Sebbene il modello CLIP originale fosse addestrato su un vasto dataset di coppie immagine-testo, lo abbiamo utilizzato in un modo che ci ha permesso di applicarlo al nostro compito specifico senza necessità di ulteriore addestramento.

2. Modulo di Recupero da Wikipedia: Questo componente aiuta a trovare articoli rilevanti di Wikipedia relativi al contesto e alle immagini candidate. Abbiamo indicizzato questi articoli per valutare quanto bene ciascuna immagine corrisponde alla descrizione.

3. Modello di Learning to Rank (LTR): Questo modello prende i risultati delle altre parti del sistema per creare una classificazione finale delle immagini. Invece di utilizzare solo punteggi diretti, confronta diverse immagini per catturare quali siano più rilevanti in base alle loro relazioni.

#Utilizzo di CLIP per l'Abbinamento Immagine-Testo

CLIP sta per Contrastive Language-Image Pretraining. Funziona creando rappresentazioni per immagini e testo in un modo che possono essere confrontati direttamente. Utilizziamo una versione pre-addestrata di questo modello, permettendoci di valutare quanto bene un'immagine e una frase di contesto corrispondano.

Quando valutiamo un'immagine, calcoliamo quanto è simile al contesto dato. Se un'immagine ottiene un punteggio alto rispetto a molti contesti, applichiamo una penalità per assicurarci che non distorca i risultati in modo ingiusto. In questo modo, il modello si concentra su abbinamenti più accurati.

#Adattamento per più Lingue

Il modello CLIP originale è stato progettato principalmente per il testo in inglese. Pertanto, abbiamo dovuto adattarlo per l'italiano e il persiano. Per fare ciò, abbiamo usato una tecnica chiamata transfer learning, che comporta l'addestramento di un nuovo modello di testo che si allinea con le rappresentazioni immagine-testo del CLIP originale. Questo ci consente di gestire testi in diverse lingue e creare rappresentazioni vettoriali per essi.

Per sviluppare questi codificatori di testo per l'italiano e il persiano, abbiamo utilizzato traduzioni di un ampio dataset di didascalie di immagini in inglese. Ciò ha comportato la ricerca di dati pertinenti da diverse fonti, assicurandoci che i nostri set di addestramento fossero completi.

#Aumento del Contesto

Abbiamo migliorato le prestazioni del nostro sistema ampliando il contesto testuale. Utilizzando database lessicali, abbiamo potuto aggiungere più frasi rilevanti per il significato della parola target. Questo aumento di contesto migliora le possibilità di trovare l'immagine giusta.

Ad esempio, se consideriamo "albero andromeda," potremmo anche aggiungere termini correlati come "andromeda giapponese" o "cespuglio." Questo viene fatto utilizzando diverse risorse multilingue, tra cui WordNet e Wiktionary, per trovare significati aggiuntivi o sinonimi legati alla parola target.

Abbiamo implementato due metodi per abbinare il contesto con il significato della parola: abbinamento esatto, dove cerchiamo parole esatte nelle descrizioni, e abbinamento di somiglianza, dove confrontiamo parole in base ai loro significati rappresentati come vettori.

#Limitazioni del Modello CLIP

Sebbene il modello CLIP funzioni bene, presenta anche delle sfide. Abbiamo osservato alcuni problemi durante il nostro esperimento:

1. Il modello ottiene punteggi alti su immagini con testo o su quelle che semplicemente mostrano la parola target o di contesto, il che può fuorviare il processo di selezione.

2. Eccelle con immagini che mostrano oggetti chiari e tangibili, ma fatica con concetti più astratti, come emozioni o azioni.

3. Il modello spesso favorisce significati più comuni delle parole, il che significa che potrebbe non scegliere l'immagine corretta anche quando riceve un contesto aggiuntivo.

#Metodo di Recupero da Wikipedia

In aggiunta al classificatore, abbiamo creato un modulo che recupera informazioni rilevanti da Wikipedia. Abbiamo scaricato il contenuto di Wikipedia e indicizzato articoli per valutare efficacemente le coppie contesto-immagine.

Quando elaboriamo un campione, interroghiamo l'indice usando il contesto completo. Se non troviamo articoli pertinenti, riproviamo usando solo la parola target. Questo aiuta a garantire che abbiamo abbastanza dati rilevanti per analizzare l'abbinamento di ciascuna immagine con il contesto.

Dopo aver recuperato articoli, scarichiamo le immagini associate, le convertiamo in rappresentazioni vettoriali e le confrontiamo con le immagini campione per determinare i migliori abbinamenti.

#Learning to Rank

Il modello LTR è una parte cruciale che affina la classificazione finale delle immagini. Valuta la qualità delle immagini in base ai risultati delle componenti precedenti, trasformando il compito in una classificazione delle coppie di immagini.

Confrontando queste coppie, piuttosto che guardando i loro punteggi singolarmente, il modello guadagna una migliore comprensione di quali immagini siano più rilevanti in base ai loro punteggi e alle relazioni con il contesto.

#Risultati della Competizione

Durante il compito SemEval, il nostro sistema è stato uno dei 54 team a competere. La valutazione si è concentrata principalmente sull'accuratezza, e noi ci siamo classificati al terzo posto nella categoria multilingue mentre abbiamo vinto nella parte persiana.

Abbiamo anche condotto esperimenti per vedere come diversi metodi e tipi di modelli influenzassero i nostri risultati. Abbiamo testato vari modelli CLIP e metodi di espansione del contesto per assicurarci di utilizzare le strategie più efficaci disponibili.

#Conclusione

In questo riassunto, abbiamo presentato un approccio alla disambiguazione del significato delle parole visive che combina comprensione di immagini e testo attraverso vari modelli e database. I risultati ottenuti evidenziano l'efficacia dell'integrazione di diverse tecniche per migliorare l'accuratezza nell'identificare le immagini corrette per significati specifici delle parole.

I metodi utilizzati per migliorare le prestazioni del nostro sistema, insieme alle sfide affrontate, possono fornire preziose intuizioni per future ricerche e sviluppi nella disambiguazione visiva del significato delle parole e in campi correlati.