Sviluppi nel tracciamento delle pupille con le telecamere a evento

I Saccadi sono movimenti rapidi degli occhi che si verificano quando una persona sposta la sua attenzione da una cosa all'altra. Questi movimenti possono essere molto veloci, a volte anche più rapidi di un battito di ciglia. I saccadi possono muoversi a velocità fino a 700 gradi al secondo, soprattutto quando gli occhi coprono un'area più ampia. I ricercatori hanno studiato i saccadi per capire meglio diverse Condizioni neurologiche. Un aspetto fondamentale nello studio di questi movimenti è tracciare con precisione la posizione della pupilla, poiché questo aiuta a capire dove sta guardando una persona.

Le normali fotocamere hanno spesso difficoltà a tenere il passo con la velocità di questi movimenti oculari, il che può causare sfocature e ritardi. Le fotocamere a eventi offrono una soluzione catturando i cambiamenti nella scena visiva mentre accadono. Questo consente un tracciamento rapido e chiaro dei movimenti oculari. In questo articolo, presentiamo un modo per tracciare i movimenti delle pupille usando fotocamere a eventi e un modello specifico chiamato YOLOv8, che è efficace per rilevare oggetti.

#Importanza del Tracciamento della Pupilla

Il tracciamento della pupilla è importante per capire la salute mentale e condizioni neurologiche come la schizofrenia, le commozioni cerebrali e il morbo di Parkinson. I cambiamenti nei saccadi possono indicare sottili cambiamenti cerebrali, soprattutto negli anziani. Per rendere utile il tracciamento della pupilla per diagnosi e ricerca, dobbiamo identificare marcatori specifici dei movimenti oculari, come la velocità con cui si muove la pupilla.

Il tracciamento automatico della pupilla può aiutare in aree come l'Interazione Uomo-Computer (HCI), la Realtà Virtuale (VR) e la Realtà Estesa (XR). Questa tecnologia consente ai ricercatori di analizzare come la pupilla reagisce nel tempo, portando a migliori intuizioni sulle condizioni psicologiche. Recentemente, studi hanno cercato di migliorare il tracciamento della pupilla, che generalmente rientra in due tipi: tracciamento a distanza (remote eye tracking) e tracciamento vicino all'occhio (near-eye tracking). Per un tracciamento efficace nelle situazioni quotidiane, strumenti come le fotocamere a eventi sono essenziali.

#Vantaggi delle Fotocamere a Eventi

Le fotocamere a eventi hanno guadagnato popolarità per il tracciamento delle pupille perché possono catturare immagini a velocità molto elevate. Funzionano registrando i cambiamenti di luce a ciascun pixel, il che significa che possono gestire movimenti rapidi meglio delle fotocamere tradizionali. Le fotocamere a eventi forniscono un'alta gamma dinamica, bassa latenza e alta risoluzione temporale. Poiché registrano solo i cambiamenti, possono rispettare la privacy dell'utente evitando di raccogliere informazioni dettagliate sull'iride a meno che qualcuno non tenti di ricostruirla.

Sebbene i ricercatori abbiano sviluppato tecniche per proteggere la privacy usando fotocamere a eventi, alcune informazioni sensibili potrebbero comunque essere recuperate dai dati. Metodi come la crittografia degli eventi e la mescolanza sono in fase di esplorazione per migliorare la protezione della privacy.

#Lavori Precedenti nel Tracciamento della Pupilla

Le prime iniziative per tracciare le pupille hanno utilizzato tecniche di visione artificiale e machine learning di base. Molti di questi studi si basavano su sistemi di fotocamere normali, incorporando a volte anche luce vicino all'infrarosso per un tracciamento migliore. Gli approcci più recenti mirano a combinare fotocamere a eventi con tecniche moderne di visione artificiale, come la conversione degli eventi in video, rendendoli compatibili con algoritmi di deep learning. YOLOv8 è uno di questi strumenti che può aiutare a rilevare le pupille in modo efficace.

Diversi studi si sono concentrati sullo sviluppo di metodi per il tracciamento delle pupille. Ad esempio, uno studio ha costruito un ampio database per addestrare algoritmi in grado di riconoscere le pupille utilizzando un mix di immagini a eventi e regolari. Un altro sforzo di ricerca ha sviluppato un metodo che elabora gli eventi in tempo reale, consentendo un rapido tracciamento della pupilla anche con movimenti oculari rapidi.

#Come Funziona il Tracciamento della Pupilla

Per tracciare la pupilla usando algoritmi moderni come YOLOv8, dobbiamo preparare correttamente i dati degli eventi. Questo implica trasformare i dati delle fotocamere a eventi in un formato che questi algoritmi possano comprendere. Convertiamo gli eventi in fotogrammi 2D basati sui cambiamenti di luce nel tempo. Questo metodo consente di mantenere importanti informazioni temporali evitando la perdita di dati a causa di movimenti rapidi.

Le fotocamere a eventi possono teoricamente raggiungere velocità di fotogrammi estremamente elevate, il che le rende efficaci per catturare movimenti veloci. Il nostro metodo crea fotogrammi a 100 fotogrammi al secondo raccogliendo eventi in brevi periodi. Questo aiuta a tenere traccia di dettagli importanti che le fotocamere tradizionali potrebbero perdere.

#Addestramento del Modello YOLOv8

Abbiamo utilizzato i fotogrammi generati dalle fotocamere a eventi per addestrare il modello YOLOv8 per il tracciamento della pupilla. I dati che abbiamo raccolto includevano dati da eventi di più partecipanti impegnati in varie sessioni di movimenti oculari. Abbiamo elaborato questi dati per creare un insieme diversificato di fotogrammi su cui il modello potesse imparare.

YOLOv8 è noto per la sua velocità e precisione, rendendolo una scelta adatta per compiti come il tracciamento delle pupille. Il modello è stato addestrato su una potente unità di elaborazione grafica (GPU), utilizzando un metodo noto come AdamW per ottimizzare le sue prestazioni.

#Risultati e Prestazioni

Abbiamo valutato le prestazioni di diverse variazioni del modello YOLOv8 nel tracciamento della pupilla. I modelli sono stati testati per la loro precisione e capacità di rilevare le pupille. Uno dei modelli più piccoli (YOLOv8n) ha ottenuto risultati eccezionali, mostrando un'alta precisione nell'identificare le pupille con un basso tasso di falsi positivi. Altri modelli hanno funzionato bene, ma quelli più grandi avevano una complessità leggermente maggiore.

Abbiamo esaminato diverse metriche per capire quanto bene si comportasse ciascun modello. Il YOLOv8n ha ottenuto i migliori punteggi per precisione e accuratezza, ma la sua capacità di rilevare ogni pupilla era leggermente inferiore rispetto a quella dei modelli più grandi. Questo significa che, mentre ha funzionato bene in generale, potrebbe perdere alcuni movimenti della pupilla che sono essenziali per alcune applicazioni.

#Sfide e Lavori Futuri

Nonostante il nostro successo, ci sono state sfide, soprattutto quando abbiamo testato il nostro modello su diversi dataset. Poiché ci siamo concentrati su dati vicino all'occhio, il modello non ha funzionato altrettanto bene su dataset remoti in cui la pupilla poteva essere occlusa. Per migliorare questo aspetto, pianifichiamo di raccogliere più dati oculari remoti e incorporare tecniche che si concentrino su caratteristiche importanti all'interno dell'occhio.

Sebbene il modello YOLOv8n abbia mostrato ottime prestazioni, il suo tasso di richiamo più basso indica che in alcune situazioni potrebbe non catturare ogni movimento della pupilla. Questo è critico per casi d'uso dove ogni rilevamento è vitale.

#Conclusione

Il nostro studio ha dimostrato con successo come tracciare le pupille usando fotocamere a eventi e modelli di machine learning. Trasformando i dati delle fotocamere a eventi in formati utilizzabili dagli algoritmi, siamo riusciti a ridurre i problemi spesso riscontrati con i metodi di tracciamento tradizionali. I nostri risultati mostrano che le fotocamere a eventi possono essere molto efficaci nel tracciare i movimenti oculari, in particolare in applicazioni che richiedono risposte rapide.

In futuro, crediamo che l'uso delle fotocamere a eventi per analizzare i movimenti oculari potrebbe portare a scoperte nel comprendere la cognizione e diagnosticare condizioni neurologiche. Le possibilità che ci aspettano sono promettenti e ulteriori ricerche potrebbero aprire la strada a strumenti diagnostici migliori e non invasivi.