iWISDM: Un Tool per Testare il Riconoscimento delle Istruzioni della Macchina

Essere in grado di seguire istruzioni è importante sia per le persone che per le macchine. Gli esseri umani lo fanno bene, gestendo molte attività ogni giorno senza nemmeno pensarci. Tuttavia, insegnare alle macchine a seguire istruzioni per compiti complessi è stato difficile. Questo articolo parla di un nuovo strumento per testare quanto bene le macchine possono seguire istruzioni usando immagini e linguaggio. Questo strumento si chiama iWISDM.

#La Sfida di Seguire Istruzioni

Ogni giorno, le persone svolgono una vasta gamma di compiti. Per esempio, prepararsi al mattino può comportare molti passaggi, come farsi la doccia, lavarsi i denti e preparare la colazione. La maggior parte di questi compiti avviene senza pensarci molto; vengono fatti come parte delle routine quotidiane. Le macchine, specialmente l'intelligenza artificiale (AI), faticano con queste azioni semplici. Anche compiti che sembrano facili, come fare il caffè, richiedono più passaggi che coinvolgono azioni come macinare i chicchi, preparare il caffè e versarlo in una tazza.

Man mano che i compiti diventano più complessi, come montare mobili o usare dispositivi domestici, la difficoltà aumenta. Le persone gestiscono solitamente bene tali compiti, ma le macchine spesso non ce la fanno.

#L'Ascesa di Modelli Linguistici e Multimodali Grandi

I Modelli Linguistici Grandi (LLMs) sono migliorati notevolmente nella comprensione del linguaggio umano su vari argomenti. Possono tenere conversazioni, dare consigli e analizzare dati. Ora stanno emergendo i Modelli multimodali (LMMs), che possono lavorare con diversi tipi di input, come testo e immagini. Per esempio, modelli come Gemini-Ultra accettano testo, immagini e audio, e rispondono con un mix di testo e immagini.

Nonostante i progressi, molti test esistenti per questi modelli si concentrano principalmente su singoli tipi di input, come testo o immagini. Questo limita la nostra comprensione di quanto bene possano integrare diversi tipi di informazioni.

#Introduzione di iWISDM

Per colmare questa lacuna, abbiamo creato lo strumento iWISDM (instructed-Virtual VISual Decision Making). Questo ambiente virtuale genera una vasta gamma di compiti che combinano immagini e linguaggio. Con iWISDM, possiamo creare tre tipi di benchmark che testano la capacità delle macchine di seguire istruzioni di varie complessità.

I nostri risultati mostrano che, mentre iWISDM è un benchmark solido, c'è ancora un grande divario tra come le macchine e gli esseri umani seguono le istruzioni.

#Comprendere i Compiti Quotidiani

Una giornata tipica comporta la gestione di numerosi compiti. Per esempio, tra il momento in cui ci si sveglia e si inizia a lavorare, una persona può completare 10-20 compiti senza nemmeno rendersene conto. Questi compiti sono semplici ma richiedono diversi passaggi. Insegnare alle macchine a gestire tali compiti è complesso. Anche qualcosa di semplice come fare il caffè coinvolge più passaggi, dalla macinatura dei chicchi al versare la bevanda.

Compiti complessi, come usare un dispositivo con più impostazioni, sono ancora più difficili per le macchine da padroneggiare. La maggior parte delle persone può svolgere questi compiti in modo competente, mentre le macchine fanno fatica.

#Il Problema con i Benchmark Esistenti

I test di benchmark attuali spesso non sono all'altezza in vari modi:

1. Molti test multimodali non valutano realmente quanto bene i modelli combinano diversi input.
2. I dataset per il ragionamento visivo spesso mancano di un modo per misurare come le macchine integrano tempo e decisioni sequenziali.
3. Gli ambienti di apprendimento usati per addestrare agenti di apprendimento per rinforzo non sono sempre adatti per testare gli LMMs.
4. Pochi benchmark si concentrano sulla capacità di un modello di seguire istruzioni durante compiti decisionali, una misura essenziale di affidabilità.
5. I benchmark più recenti, pur coprendo compiti cognitivi, possono essere difficili da scalare, rendendoli meno utili per studiare gli LMMs.

Questi difetti rendono difficile valutare quanto bene i modelli possano seguire specifiche istruzioni, in particolare compiti a più passaggi.

#La Struttura di iWISDM

Per affrontare questi problemi, iWISDM genera compiti a più passaggi basati su come le persone si comportano naturalmente, scomponendo compiti complessi in azioni più semplici. Questo strumento utilizza grafi per rappresentare i compiti, consentendo una creazione di compiti praticamente illimitata con difficoltà variabili.

#Caratteristiche Chiave di iWISDM

1. Generazione di compiti: iWISDM consente di creare un gran numero di compiti combinando logicamente compiti più semplici.
2. Istruzioni in Linguaggio Naturale: Ogni compito viene fornito con istruzioni chiare che spiegano cosa deve essere fatto.
3. Flessibilità: Gli utenti possono creare compiti che imitano scenari reali, rendendolo uno strumento versatile.
4. Valutazione Mirata: I benchmark creati in iWISDM possono valutare quanto bene i modelli seguono le istruzioni.

#I Componenti di iWISDM

#Costruzione del Compito

In iWISDM, i compiti sono costruiti utilizzando un processo strutturato che coinvolge un grafo del compito. Ogni compito è composto da nodi e archi:

• Nodi rappresentano azioni o decisioni.
• Archi collegano i nodi per mostrare la relazione.

Questo approccio strutturato consente agli utenti di costruire compiti complessi a partire da componenti più semplici.

#Inizializzazione dei Nodi

Ogni nodo riceve valori specifici che definiscono come operano i compiti. Quando si inizializza un compito, si utilizza un approccio backward per garantire che il flusso di informazioni sia logico e coerente durante l'intero compito.

#Istanziamento del Trial del Compito

Quando un compito è pronto, iWISDM crea una serie di frame che rappresentano le informazioni visive a ogni passaggio. Ogni compito è presentato con:

• Una serie di immagini che mostrano il progresso del compito.
• Istruzioni che descrivono cosa deve fare l'utente.
• Una sequenza di azioni attese.

#Distrattori

Per rendere i compiti più impegnativi, possono essere aggiunti distrattori. Questi sono elementi irrilevanti che richiedono al modello di concentrarsi su ciò che è essenziale per evitare confusione.

#Valutazione dei Modelli con iWISDM

Abbiamo testato diversi LMM avanzati utilizzando i benchmark di iWISDM. Questi includevano modelli come GPT-4V e altri, confrontando le loro prestazioni con quelle di soggetti umani su compiti a più passaggi di crescente complessità.

#Risultati

Le nostre valutazioni hanno rivelato significativi divari nelle prestazioni tra i modelli e i partecipanti umani. I soggetti umani hanno ottenuto punteggi straordinariamente alti in tutti i compiti, mentre i modelli hanno faticato, in particolare con compiti che coinvolgono più immagini o passaggi.

#Analisi delle Prestazioni del Modello

Abbiamo esaminato attentamente come si sono comportati diversi modelli su compiti con varie caratteristiche. Alcuni modelli hanno performato male su compiti che richiedevano di tenere traccia della posizione degli oggetti o di identificare correttamente le categorie degli oggetti.

#Direzioni Future

iWISDM ha il potenziale di diventare un benchmark essenziale in molte aree:

• Valutazione dei Modelli Multimodali: Può colmare le lacune lasciate dai test precedenti e fornire valutazioni più complete.
• Apprendimento Continuo: Futuri framework potrebbero utilizzare iWISDM per valutare quanto bene i modelli si adattano a nuovi compiti nel tempo.
• Espansione della Complessità dei Compiti: I ricercatori potrebbero aggiungere nuove caratteristiche e compiti basati sulla struttura di iWISDM per esplorare ulteriormente le capacità dei modelli.

#Affrontare le Limitazioni

Alcune limitazioni esistenti potrebbero essere affrontate introducendo nuovi operatori e dataset che consentano valutazioni più ampie e la riduzione del potenziale data leakage.

#Conclusione

iWISDM offre una risorsa preziosa per valutare quanto bene le macchine possono seguire istruzioni complesse. Creando uno spazio di compiti diversificato, apre strade per ulteriori ricerche, aiutando a colmare il divario tra le capacità umane e quelle delle macchine nella comprensione e nell'esecuzione delle istruzioni. Le intuizioni ottenute dall'utilizzo di questo strumento possono informare futuri sviluppi nell'AI, consentendo la creazione di modelli che possono comprendere e soddisfare meglio compiti simili a quelli umani.