Avancées dans la prédiction du regard en utilisant des données EEG

La prédiction du regard est un domaine de recherche important qui essaie de comprendre où une personne regarde en se basant sur différents types de données. Une manière excitante d'y arriver est d'utiliser des données d'électroencéphalographie (EEG). L'EEG est une technique qui enregistre l'activité électrique du cerveau. C'est non invasif, ce qui signifie qu'il n'y a pas besoin de chirurgie ou d'insertion d'appareils dans le corps. Cette méthode a des avantages potentiels par rapport aux systèmes de suivi oculaire traditionnels qui dépendent de caméras pour capturer les mouvements des yeux, ce qui peut être contraignant et nécessiter des configurations spécifiques.

#Avantages de l'EEG par rapport au suivi oculaire traditionnel

Contrairement au suivi oculaire basé sur la vidéo, qui nécessite des caméras fixes, l'EEG peut fournir des données sans avoir besoin de se concentrer directement sur les yeux. Cette flexibilité peut améliorer l'utilisation dans divers environnements où les systèmes traditionnels peuvent ne pas bien fonctionner. Par exemple, l'EEG est plus facile à utiliser dans des environnements plus naturels, où le mouvement est courant, et il n'y a pas besoin de configuration qui pourrait interférer avec le confort du participant.

#EEGViT : Le modèle actuel leader

Jusqu'à présent, EEGViT a été l'un des meilleurs Modèles pour prédire le regard à partir des données EEG. Il combine des réseaux neuronaux spécialisés appelés réseaux de neurones convolutionnels (CNN) et des transformateurs, qui sont des types de modèles d'apprentissage automatique. Ces types de modèles aident à analyser les signaux EEG plus efficacement en traitant les données de manière unique. En ajustant ces modèles avec des données EEG, les chercheurs ont fait des progrès significatifs dans la prédiction du regard.

#Questions de recherche

Le but de notre étude est de répondre à deux questions importantes :

1. Comment différentes tailles de noyaux de convolution, qui sont utilisés dans les CNN, affectent-elles la Précision des prédictions de regard à partir des données EEG ?
2. Comment ces effets se comparent-ils à l'utilisation d'une convolution sur tous les canaux EEG ?

En répondant à ces questions, on espère éclairer comment le choix de la taille du noyau impacte la performance du modèle.

#Recherche précédente et contexte technologique

Au cours des dix dernières années, les scientifiques se sont de plus en plus tournés vers des approches d'apprentissage automatique pour analyser les données EEG, ce qui a conduit à des avancées dans plusieurs domaines comme la détection des émotions, le suivi de la santé, et l'évaluation cognitive. Bien que l'EEG et le suivi oculaire aient été étudiés séparément pendant de nombreuses années, leur utilisation combinée a gagné en élan grâce aux avancées dans les modèles d'apprentissage automatique.

#Comprendre les données EEG

Les données EEG collectées pour la prédiction du regard proviennent de nombreux capteurs placés sur la tête. Pour notre recherche, on a utilisé un ensemble de données spécifique qui inclut des informations de 356 participants utilisant un système EEG à 128 canaux. Cette configuration nous permet de rassembler des données étendues sur l'activité cérébrale pendant que les participants se fixent sur certains points sur un écran.

#Configuration de l'expérience

Dans l'étude, on a demandé aux participants de se concentrer sur des points spécifiques affichés sur une grille sur un écran. Pour chaque fixation, leurs signaux EEG étaient enregistrés simultanément avec la position du regard. Cet enregistrement simultané permet une formation précise de notre modèle de prédiction du regard, ce qui est essentiel pour améliorer sa performance.

#Architecture du modèle

Notre modèle repose sur une combinaison d'architectures CNN et transformateur. On a commencé avec deux couches de convolution conçues pour filtrer les caractéristiques essentielles des données EEG.

Dans la première couche, on a utilisé une taille de noyau plus petite pour capturer les caractéristiques temporelles, ce qui aide à comprendre comment l'activité cérébrale varie dans le temps. Ce choix visait à améliorer la résolution des caractéristiques que l'on capture par rapport à d'autres modèles avec des noyaux plus grands.

La deuxième couche a adopté une approche différente, utilisant un noyau profondeur qui scanne tous les canaux EEG à la fois. C'est différent des modèles précédents qui utilisaient des noyaux plus petits, ce qui peut manquer d'importantes relations spatiales entre les électrodes qui composent la configuration EEG.

#Processus de formation

Pour notre formation de modèle, on a divisé l'ensemble de données EEG en trois parties : formation, validation, et test. Cette stratégie aide à garantir que notre évaluation est juste et que le modèle apprend efficacement sans s'adapter trop à un ensemble de données limité. On a utilisé des méthodes d'optimisation d'apprentissage automatique bien connues pour affiner notre modèle pendant l'Entraînement, visant à obtenir l'erreur de validation la plus basse possible.

#Évaluation de la précision

Dans le cadre de notre évaluation, on a comparé les prédictions de notre modèle aux références établies. On a mesuré la précision en utilisant deux métriques principales : l'erreur quadratique moyenne (RMSE) et la distance euclidienne moyenne (MED). Un RMSE plus bas indique une meilleure performance, reflétant des prédictions de regard plus précises.

Fait intéressant, notre modèle a montré des améliorations par rapport aux méthodes existantes. La combinaison d'un grand noyau de convolution profondeur à travers tous les canaux EEG a joué un rôle significatif dans ce succès. En scannant tous les canaux à la fois, notre modèle a pu mieux apprendre les relations entre différentes électrodes, ce qui est crucial pour une prédiction précise du regard.

#Comparaison de temps d'exécution

Un des objectifs de notre recherche était aussi d'évaluer le temps d'exécution de notre méthode. Bien que notre approche ait été plus lente que les modèles plus simples, elle s'est révélée plus rapide que les méthodes de pointe. Les économies de temps étaient un résultat positif, car réduire le temps d'entraînement permet des itérations plus rapides et des améliorations du modèle.

#Insights des modèles de base

En plus d'évaluer notre méthode, on a aussi examiné des modèles d'apprentissage automatique traditionnels plus simples. Étonnamment, des modèles de base comme KNN et la régression linéaire n'ont pas bien performé lorsqu'il s'agissait de prédire le regard à partir des signaux EEG. Ils ont produit des résultats qui n'étaient pas significativement différents de devinettes aléatoires, ce qui a mis en évidence la complexité des données EEG et comment cela nécessite des approches plus sophistiquées pour produire des résultats significatifs.

#Étude de permutation

On a aussi examiné comment l'ordre des canaux EEG pourrait impacter la précision des prédictions de regard. En changeant l'ordre des canaux, on a constaté que la performance du modèle restait cohérente. Cela suggère que les relations entre différents signaux EEG peuvent être intrinsèquement complexes et ne pas être facilement capturées juste en réarrangeant les canaux.

#Conclusion

En résumé, on a développé une méthode pour prédire le regard à partir des données EEG qui montre des améliorations par rapport aux modèles précédents. Nos résultats ont indiqué que l'utilisation d'un noyau de convolution profondeur plus grand qui couvre tous les canaux EEG a un impact profond sur la performance du modèle. Bien que notre modèle ait amélioré la précision par rapport aux méthodes existantes, il est essentiel de noter qu'il reste encore beaucoup de travail à faire. Les niveaux de performance actuels ne correspondent pas encore à ceux atteints par les systèmes de suivi oculaire vidéo traditionnels.

Une recherche continue est vitale pour améliorer les techniques de prédiction du regard basées sur l'EEG. Explorer différentes approches d'apprentissage automatique et ensembles de données aidera à repousser les limites, nous rapprochant de solutions plus robustes pouvant être appliquées dans des scénarios réels. Le potentiel du suivi oculaire basé sur l'EEG est significatif, et à mesure que la technologie avance, on pourrait bientôt voir des applications plus larges dans divers domaines, comme la santé, les jeux, et au-delà.