Progressi nella predizione dello sguardo usando dati EEG

La previsione dello sguardo è un'area di ricerca importante che cerca di capire dove sta guardando una persona basandosi su diversi tipi di dati. Un modo interessante per raggiungere questo obiettivo è utilizzare i dati dell'elettroencefalografia (EEG). L'EEG è una tecnica che registra l'attività elettrica nel cervello. È non invasiva, il che significa che non richiede interventi chirurgici o l'inserimento di dispositivi nel corpo. Questo metodo ha vantaggi potenziali rispetto ai sistemi tradizionali di tracciamento degli occhi che si basano su telecamere per catturare il movimento oculare, che possono essere restrittivi e richiedere configurazioni specifiche.

#Vantaggi dell'EEG rispetto al tracciamento oculare tradizionale

A differenza del tracciamento oculare basato su video, che necessita di telecamere fisse, l'EEG può fornire dati senza dover focalizzarsi direttamente sugli occhi. Questa flessibilità può portare a una migliore usabilità in vari contesti in cui i sistemi tradizionali potrebbero non funzionare bene. Ad esempio, l'EEG è più facile da usare in ambienti più naturali, dove il movimento è comune, e non richiede alcuna configurazione che potrebbe influire sul comfort del partecipante.

#EEGViT: Il Modello attuale leader

Fino ad ora, EEGViT è stato uno dei migliori modelli per prevedere lo sguardo dai dati EEG. Combina reti neurali specializzate chiamate reti neurali convoluzionali (CNN) e trasformatori, che sono tipi di modelli di apprendimento automatico. Questi tipi di modelli aiutano ad analizzare i segnali EEG in modo più efficace elaborando i dati in modi unici. Ottimizzando questi modelli con dati EEG, i ricercatori hanno fatto progressi significativi nella previsione dello sguardo.

#Domande di ricerca

Lo scopo del nostro studio è rispondere a due domande importanti:

1. Come influiscono le diverse dimensioni dei kernel di convoluzione, utilizzati nelle CNN, sull'Accuratezza delle previsioni dello sguardo dai dati EEG?
2. Come si confrontano questi effetti con l'uso di una convoluzione su tutti i canali EEG?

Affrontando queste domande, speriamo di far luce su come la scelta delle dimensioni dei kernel influisca sulle prestazioni del modello.

#Ricerca precedente e contesto tecnologico

Negli ultimi dieci anni, gli scienziati si sono sempre più rivolti agli approcci di apprendimento automatico per analizzare i dati EEG, portando avanti progressi in diversi campi come la rilevazione delle emozioni, il monitoraggio della salute e la valutazione cognitiva. Mentre EEG e tracciamento oculare sono stati studiati separatamente per molti anni, il loro uso combinato ha guadagnato slancio grazie ai progressi nei modelli di apprendimento automatico.

#Comprendere i dati EEG

I dati EEG raccolti per la previsione dello sguardo provengono da diversi sensori posizionati sulla testa. Per la nostra ricerca, abbiamo utilizzato un dataset specifico che include informazioni da 356 partecipanti utilizzando un sistema EEG a 128 canali. Questa configurazione ci permette di raccogliere dati estesi sull'attività cerebrale mentre i partecipanti fissano punti specifici su uno schermo.

#Configurazione dell'esperimento

Nello studio, ai partecipanti è stato chiesto di concentrarsi su punti specifici visualizzati su una griglia su uno schermo. Per ogni fissazione, i loro segnali EEG sono stati registrati simultaneamente alla posizione dello sguardo. Questa registrazione doppia permette un addestramento accurato del nostro modello di previsione dello sguardo, che è fondamentale per migliorare le sue prestazioni.

#Architettura del modello

Il nostro modello si basa su una combinazione di architetture CNN e trasformatori. Abbiamo iniziato con due strati di convoluzione progettati per filtrare le caratteristiche essenziali dai dati EEG.

Nel primo strato, abbiamo utilizzato una dimensione del kernel più piccola per catturare le caratteristiche temporali, il che aiuta a capire come varia l'attività cerebrale nel tempo. Questa scelta mirava a migliorare la risoluzione delle caratteristiche che stiamo catturando rispetto ad altri modelli con kernel più grandi.

Il secondo strato ha impiegato un approccio diverso, utilizzando un kernel di profondità che esplora tutti i canali EEG contemporaneamente. Questo è diverso dai modelli precedenti che utilizzavano kernel più piccoli, i quali potrebbero trascurare importanti relazioni spaziali tra gli elettrodi che compongono la configurazione EEG.

#Processo di addestramento

Per il nostro addestramento del modello, abbiamo diviso il dataset EEG in tre parti: addestramento, validazione e test. Questa strategia aiuta a garantire che la nostra valutazione sia equa e che il modello apprenda in modo efficace senza adattarsi eccessivamente a un dataset limitato. Abbiamo utilizzato metodi di ottimizzazione dell'apprendimento automatico ben noti per perfezionare il nostro modello durante l'addestramento, mirando al minor errore di validazione possibile.

#Valutazione dell'accuratezza

Come parte della nostra valutazione, abbiamo confrontato le previsioni del nostro modello con benchmark consolidati. Abbiamo misurato l'accuratezza utilizzando due metriche principali: errore quadratico medio (RMSE) e distanza euclidea media (MED). Un RMSE più basso indica prestazioni migliori, riflettendo previsioni dello sguardo più accurate.

È interessante notare che il nostro modello ha mostrato miglioramenti rispetto ai metodi esistenti. La combinazione di un grande kernel di convoluzione a profondità su tutti i canali EEG ha giocato un ruolo significativo in questo successo. Esplorando tutti i canali contemporaneamente, il nostro modello è riuscito a imparare meglio le relazioni tra i diversi elettrodi, che sono cruciali per una previsione accurata dello sguardo.

#Confronto dei tempi di esecuzione

Uno degli obiettivi della nostra ricerca era anche valutare il tempo di esecuzione del nostro metodo. Sebbene il nostro approccio fosse più lento rispetto a modelli più semplici, si è rivelato più veloce dei metodi all'avanguardia. Il risparmio di tempo è stato un risultato positivo, poiché ridurre il tempo di addestramento consente iterazioni e miglioramenti più rapidi nel modello.

#Approfondimenti dai modelli di base

Oltre a valutare il nostro metodo, abbiamo anche esaminato modelli di machine learning tradizionali più semplici. Sorprendentemente, modelli base come KNN e regressione lineare non hanno performato bene nella previsione dello sguardo dai segnali EEG. Hanno prodotto risultati non significativamente diversi da ipotesi casuali, evidenziando la complessità dei dati EEG e come richiedano approcci più sofisticati per produrre risultati significativi.

#Studio di permutazione

Abbiamo anche esaminato come l'ordine dei canali EEG possa influenzare l'accuratezza delle previsioni dello sguardo. Cambiando l'ordine dei canali, abbiamo scoperto che le prestazioni del modello rimanevano costanti. Questo suggerisce che le relazioni tra i diversi segnali EEG possono essere intrinsecamente complesse e non facilmente catturabili semplicemente riordinando i canali.

#Conclusione

In sintesi, abbiamo sviluppato un metodo per prevedere lo sguardo dai dati EEG che mostra miglioramenti rispetto ai modelli precedenti. I nostri risultati hanno indicato che l'uso di un kernel di convoluzione a profondità più grande che copre tutti i canali EEG ha un impatto profondo sulle prestazioni del modello. Anche se il nostro modello ha migliorato l'accuratezza rispetto ai metodi esistenti, è essenziale notare che c'è ancora molto lavoro da fare. I livelli di prestazione attuali non raggiungono ancora quelli ottenuti dai sistemi tradizionali di tracciamento oculare basati su video.

La ricerca continua è vitale per migliorare le tecniche di previsione dello sguardo basate su EEG. Esplorare diversi approcci di apprendimento automatico e dataset aiuterà a spingere oltre i limiti, avvicinandoci a soluzioni più robuste che possono essere applicate in scenari reali. Il potenziale per il tracciamento oculare basato su EEG è significativo e, man mano che la tecnologia avanza, potremmo presto vedere applicazioni più ampie in vari campi, come la salute, i giochi e oltre.