Migliorare le interazioni basate sullo sguardo con i segnali cerebrali
Usare i segnali cerebrali per migliorare le interazioni basate sullo sguardo negli ambienti virtuali.
― 6 leggere min
Indice
Le interazioni basate sullo sguardo stanno diventando un modo sempre più popolare per le persone di interagire con ambienti virtuali. Queste interazioni, soprattutto in contesti come la realtà virtuale (VR) e la realtà aumentata (AR), permettono agli utenti di controllare cosa vedono e cosa fanno semplicemente guardando le cose. Questo metodo ha preso piede perché sempre più cuffie che la gente indossa stanno integrando tecnologie per tracciare dove stanno guardando. Questo rende l'interazione più veloce e facile, dato che gli utenti non devono puntare o toccare per fare delle scelte.
Tuttavia, mentre le interazioni basate sullo sguardo sembrano intuitive, presentano alcune sfide. Un problema principale è quello del "tocco di Mida", dove semplicemente guardando qualcosa può farlo selezionare, anche se l'utente non intende farlo. Questo può portare a selezioni accidentali, causando frustrazione. Per risolvere questo problema, i ricercatori hanno cercato modi per rendere le interazioni di sguardo più affidabili.
La Tecnica del Dwell
Un metodo comune per migliorare la selezione visiva è la "Tecnica del Dwell". Con questo approccio, agli utenti viene richiesto di concentrarsi su un oggetto per un certo periodo di tempo per confermare la loro selezione. Se mantengono lo sguardo sull'oggetto abbastanza a lungo, questo viene confermato come selezionato. Questa tecnica mira a separare i momenti in cui gli utenti stanno semplicemente guardando da quelli in cui stanno attivamente scegliendo qualcosa. Anche se può funzionare, a volte può portare a selezioni errate, poiché gli utenti potrebbero fissarsi accidentalmente su obiettivi più a lungo del previsto.
Per affrontare il problema del tocco di Mida, alcuni ricercatori suggeriscono di usare un attivatore esterno per confermare le selezioni. Potrebbe essere un semplice battito di ciglia o premere un pulsante. Anche se questi metodi possono aiutare con l'accuratezza, possono anche richiedere uno sforzo extra da parte degli utenti, il che potrebbe portare a stanchezza nel tempo. Inoltre, queste azioni possono rendere l'esperienza meno naturale e interrompere la natura immersiva degli ambienti virtuali.
Interfacce cervello-computer
Per rendere le interazioni più semplici, si stanno esplorando le interfacce cervello-computer (BCI) come possibile soluzione. Le BCI hanno la capacità di leggere i segnali cerebrali e tradurli in comandi per il sistema. In teoria, questo potrebbe permettere agli utenti di selezionare elementi in uno spazio virtuale attraverso il pensiero, senza dover interagire fisicamente con i dispositivi o addirittura guardare direttamente gli obiettivi. Tuttavia, molti metodi BCI attuali possono essere lenti e impegnativi, richiedendo molto sforzo mentale. Questo rende difficile usarli per periodi prolungati, soprattutto per le persone senza disabilità.
Un approccio più recente all'interno delle BCI è quello di concentrarsi su sistemi passivi che monitorano l'attività cerebrale senza richiedere agli utenti di pensare intensamente alle loro azioni. Le BCI passive mirano a leggere segnali cerebrali naturali che si verificano quando gli utenti anticipano qualcosa, piuttosto che aspettarsi che creino consapevolmente quei segnali.
Un tipo di segnale cerebrale passivo che mostra promesse è la Stimulus-Preceding Negativity (SPN). Questo segnale appare quando una persona si aspetta che qualcosa accada, suggerendo che è pronta a rispondere. Rilevando questi segnali, il sistema potrebbe confermare le selezioni in base a se l'utente sta anticipando un feedback, come un suono o un cambiamento visivo, quando guarda un obiettivo.
Come Funziona l'SPN
Per vedere come l'SPN potrebbe funzionare in termini pratici, immagina un utente che naviga in un'app musicale VR. Quando l'utente guarda il pulsante di riproduzione, il suo cervello inizia a generare un SPN perché si aspetta un qualche tipo di feedback quando lo seleziona con successo-come sentire della musica o vedere il pulsante cambiare colore. Se il sistema può rilevare questa attività cerebrale tramite elettrodi che misurano i segnali elettrici dal cervello, può decidere di far partire la musica senza bisogno che l'utente clicchi fisicamente nulla.
Questo metodo offre un'interazione fluida dove lo stato mentale naturale dell'utente guida il comando invece di richiedere uno sforzo consapevole. Di conseguenza, l'SPN potrebbe aiutare a eliminare selezioni indesiderate rispondendo solo quando l'utente si aspetta attivamente un feedback dopo aver focalizzato l'attenzione su un obiettivo.
Studio Sugli Utenti
Per indagare l'efficacia dell'SPN, è stato condotto uno studio sugli utenti in un ambiente VR. Lo studio mirava a determinare se l'SPN potesse effettivamente aiutare a differenziare quando gli utenti stavano tentando intenzionalmente di selezionare un oggetto rispetto a quando lo stavano semplicemente osservando. I partecipanti sono stati dotati di cuffie VR e dispositivi EEG per monitorare la loro attività cerebrale mentre svolgevano compiti in cui dovevano selezionare o semplicemente guardare target.
I partecipanti hanno svolto compiti in diverse condizioni: una in cui selezionavano intenzionalmente target, un'altra in cui osservavano senza feedback, e una terza in cui osservavano ma ricevevano comunque feedback. L'obiettivo era vedere se l'SPN appariva durante questi compiti e come potesse differire in base all'intento dell'utente.
Risultati
I risultati hanno indicato che quando i partecipanti stavano selezionando attivamente i target, mostrano un SPN, mostrando che i loro cervelli si aspettavano qualche tipo di risposta. Al contrario, quando i partecipanti stavano solo osservando i target, anche con feedback, c'era poco o nessun SPN rilevato. Questo suggerisce che l'SPN è effettivamente legato all'intenzione dietro le azioni degli utenti-confermando che la risposta del cervello si verifica solo quando gli utenti si aspettano di interagire attivamente con qualcosa.
Inoltre, lo studio ha esaminato se la familiarità con il layout dell'interfaccia utente-sapere dove si trovavano i target-potesse portare a risposte SPN più veloci. I partecipanti che si erano abituati alla collocazione dei target mostrano segni di una risposta SPN più rapida rispetto a quelli che stavano ancora imparando il layout.
Implicazioni per le Future BCI
Queste intuizioni hanno implicazioni significative per il design delle future BCI. Se l'SPN può essere utilizzato in modo affidabile per determinare l'intento dell'utente, si aprono vie per metodi di interazione più intuitivi ed efficienti, particolarmente in ambienti dove gli utenti potrebbero dover interagire rapidamente e senza intoppi.
Questi risultati potrebbero aiutare gli sviluppatori a creare sistemi che sfruttano i segnali SPN per compiti quotidiani, rendendo le interazioni meno dipendenti da gesti fisici o controlli precisi, che possono essere difficili in ambienti immersivi.
Limitazioni e Direzioni Future
Sebbene lo studio mostri il potenziale di utilizzare l'SPN nelle interazioni basate sullo sguardo, presenta anche delle limitazioni. Ad esempio, è necessaria ulteriore ricerca per affinare il processo di rilevamento dell'SPN e per integrarlo in sistemi in tempo reale che le persone possano usare nella vita quotidiana. C'è anche bisogno di esplorare ulteriormente come questi metodi possano essere combinati con altre tecnologie per migliorare ulteriormente l'esperienza dell'utente.
Inoltre, i futuri studi dovrebbero considerare una gamma più ampia di esperienze e ambienti degli utenti, inclusi quelli che sono meno controllati rispetto ai laboratori. Sarebbe anche utile esplorare come migliorare il comfort e l'accessibilità di questi sistemi affinché un pubblico più ampio possa utilizzarli efficacemente.
In generale, l'esplorazione delle interazioni basate sullo sguardo, dei segnali SPN e delle BCI intuitive offre possibilità entusiasmanti per il futuro di come interagiamo con la tecnologia, rendendola più naturale e meno ingombrante per tutti.
Titolo: Towards an Eye-Brain-Computer Interface: Combining Gaze with the Stimulus-Preceding Negativity for Target Selections in XR
Estratto: Gaze-assisted interaction techniques enable intuitive selections without requiring manual pointing but can result in unintended selections, known as Midas touch. A confirmation trigger eliminates this issue but requires additional physical and conscious user effort. Brain-computer interfaces (BCIs), particularly passive BCIs harnessing anticipatory potentials such as the Stimulus-Preceding Negativity (SPN) - evoked when users anticipate a forthcoming stimulus - present an effortless implicit solution for selection confirmation. Within a VR context, our research uniquely demonstrates that SPN has the potential to decode intent towards the visually focused target. We reinforce the scientific understanding of its mechanism by addressing a confounding factor - we demonstrate that the SPN is driven by the users intent to select the target, not by the stimulus feedback itself. Furthermore, we examine the effect of familiarly placed targets, finding that SPN may be evoked quicker as users acclimatize to target locations; a key insight for everyday BCIs. CCS CONCEPTSO_LIHuman-centered computing [->] Virtual reality; Mixed / augmented reality; Accessibility technologies; Interaction techniques. C_LI ACM Reference FormatG. S. Rajshekar Reddy, Michael J. Proulx, Leanne Hirshfield, and Anthony J. Ries. 2024. Towards an Eye-Brain-Computer Interface: Combining Gaze with the Stimulus-Preceding Negativity for Target Selections in XR. In Proceedings of the CHI Conference on Human Factors in Computing Systems (CHI 24), May 11-16, 2024, Honolulu, HI, USA. ACM, New York, NY, USA, 17 pages. https://doi.org/10.1145/3613904.3641925
Autori: G S Rajshekar Reddy, M. J. Proulx, L. Hirshfield, A. J. Ries
Ultimo aggiornamento: 2024-03-14 00:00:00
Lingua: English
URL di origine: https://www.biorxiv.org/content/10.1101/2024.03.13.584609
Fonte PDF: https://www.biorxiv.org/content/10.1101/2024.03.13.584609.full.pdf
Licenza: https://creativecommons.org/licenses/by-nc/4.0/
Modifiche: Questa sintesi è stata creata con l'assistenza di AI e potrebbe presentare delle imprecisioni. Per informazioni accurate, consultare i documenti originali collegati qui.
Si ringrazia biorxiv per l'utilizzo della sua interoperabilità ad accesso aperto.