Fortschritte bei der Blickvorhersage mit EEG-Daten

Die Vorhersage des Blicks ist ein wichtiges Forschungsgebiet, das versucht herauszufinden, wohin eine Person schaut, basierend auf verschiedenen Datentypen. Eine spannende Möglichkeit, dies zu erreichen, ist die Verwendung von Elektroenzephalographie (EEG)-Daten. EEG ist eine Technik, die die elektrische Aktivität im Gehirn aufzeichnet. Sie ist nicht invasiv, das heisst, es sind keine Operationen oder das Einführen von Geräten in den Körper nötig. Diese Methode hat potenzielle Vorteile gegenüber traditionellen Eyetracking-Systemen, die auf Kameras angewiesen sind, um Augenbewegungen zu erfassen, was einschränkend sein kann und spezielle Setups erfordert.

#Vorteile von EEG gegenüber traditionellem Eyetracking

Im Gegensatz zu videobasiertem Eyetracking, das feste Kameras benötigt, kann EEG Daten liefern, ohne direkt auf die Augen fokusieren zu müssen. Diese Flexibilität kann die Benutzerfreundlichkeit in verschiedenen Umgebungen verbessern, in denen traditionelle Systeme möglicherweise nicht gut funktionieren. Zum Beispiel ist EEG einfacher in natürlicheren Umgebungen zu nutzen, wo Bewegung üblich ist, und es erfordert keine Setups, die den Komfort der Teilnehmer beeinträchtigen könnten.

#EEGViT: Das aktuelle führende Modell

Bisher war EEGViT eines der besten Modelle zur Vorhersage des Blicks aus EEG-Daten. Es kombiniert spezialisierte neuronale Netzwerke, die als konvolutionale neuronale Netzwerke (CNNs) und Transformatoren bekannt sind, die Arten von Modellen des maschinellen Lernens sind. Diese Modelle helfen dabei, die EEG-Signale effektiver zu analysieren, indem sie die Daten auf einzigartige Weise verarbeiten. Durch das Feinabstimmen dieser Modelle mit EEG-Daten haben Forscher bedeutende Fortschritte in der Blickvorhersage erzielt.

#Forschungsfragen

Das Ziel unserer Studie ist es, zwei wichtige Fragen zu beantworten:

1. Wie beeinflussen verschiedene Grössen von Konvolutionskernen, die in CNNs verwendet werden, die Genauigkeit der Blickvorhersagen aus EEG-Daten?
2. Wie vergleichen sich diese Effekte mit der Verwendung einer Konvolution über alle EEG-Kanäle hinweg?

Indem wir diese Fragen angehen, hoffen wir, Licht darauf zu werfen, wie die Wahl der Kerngrösse die Modellleistung beeinflusst.

#Frühere Forschung und technischer Hintergrund

In den letzten zehn Jahren haben Wissenschaftler zunehmend maschinelles Lernen genutzt, um EEG-Daten zu analysieren, was zu Fortschritten in mehreren Bereichen wie Emotionsdetektion, Gesundheitsüberwachung und kognitiver Bewertung geführt hat. Während EEG und Eyetracking viele Jahre lang separat untersucht wurden, hat ihre kombinierte Nutzung aufgrund von Fortschritten in den Modellen des maschinellen Lernens an Dynamik gewonnen.

#Verständnis der EEG-Daten

Die für die Blickvorhersage gesammelten EEG-Daten stammen von vielen verschiedenen Sensoren, die am Kopf platziert sind. Für unsere Forschung verwendeten wir einen spezifischen Datensatz, der Informationen von 356 Teilnehmern mit einem 128-Kanal-EEG-System enthält. Dieses Setup ermöglicht es uns, umfangreiche Daten über die Gehirnaktivität zu sammeln, während die Teilnehmer auf bestimmte Punkte auf einem Bildschirm fixiert sind.

#Experimentsetup

In der Studie wurden die Teilnehmer gebeten, sich auf bestimmte Punkte zu konzentrieren, die auf einem Raster auf einem Bildschirm angezeigt wurden. Bei jeder Fixation wurden ihre EEG-Signale gleichzeitig mit der Blickposition aufgezeichnet. Diese doppelte Aufzeichnung ermöglicht eine genaue Schulung unseres Modells zur Blickvorhersage, was entscheidend für die Verbesserung seiner Leistung ist.

#Modellarchitektur

Unser Modell basiert auf einer Kombination aus CNN- und Transformatorarchitekturen. Wir begannen mit zwei Konvolutionsschichten, die dazu dienten, wesentliche Merkmale aus den EEG-Daten herauszufiltern.

In der ersten Schicht verwendeten wir eine kleinere Kerngrösse, um temporale Merkmale zu erfassen, was hilft, zu verstehen, wie die Gehirnaktivität über die Zeit variiert. Diese Wahl zielte darauf ab, die Auflösung der Merkmale zu verbessern, die wir im Vergleich zu anderen Modellen mit grösseren Kernen erfassen.

Die zweite Schicht verwendete einen anderen Ansatz, wobei ein tiefenbasierter Kern zum gleichzeitigen Scannen über alle EEG-Kanäle verwendet wurde. Dies unterscheidet sich von früheren Modellen, die kleinere Kerne verwendeten, die möglicherweise wichtige räumliche Beziehungen zwischen den Elektroden übersehen, die das EEG-Setup bilden.

#Trainingsprozess

Für unser Modelltraining teilten wir den EEG-Datensatz in drei Teile: Training, Validierung und Test. Diese Strategie hilft sicherzustellen, dass unsere Bewertung fair ist und dass das Modell effektiv lernt, ohne sich zu sehr an einem begrenzten Datensatz festzusetzen. Wir verwendeten bekannte Methoden der Optimierung des maschinellen Lernens, um unser Modell während des Trainings abzustimmen, mit dem Ziel, den niedrigstmöglichen Validierungsfehler zu erreichen.

#Genauigkeitsbewertung

Im Rahmen unserer Bewertung verglichen wir die Vorhersagen unseres Modells mit etablierten Benchmarks. Wir massen die Genauigkeit anhand von zwei Hauptmetriken: der Wurzel des mittleren quadratischen Fehlers (RMSE) und dem mittleren euklidischen Abstand (MED). Ein niedriger RMSE zeigt eine bessere Leistung an, was genauere Blickvorhersagen widerspiegelt.

Interessanterweise zeigte unser Modell Verbesserungen gegenüber bestehenden Methoden. Die Kombination eines grossen tiefen Konvolutionskerns über alle EEG-Kanäle spielte eine wesentliche Rolle für diesen Erfolg. Durch das gleichzeitige Scannen aller Kanäle konnte unser Modell bessere Beziehungen zwischen verschiedenen Elektroden lernen, die entscheidend für eine genaue Blickvorhersage sind.

#Laufzeiteinschätzung

Eines der Ziele unserer Forschung war es auch, die Laufzeit unserer Methode zu bewerten. Obwohl unser Ansatz langsamer war als einfachere Modelle, war er schneller als die neuesten Methoden. Die Zeitersparnis war ein positives Ergebnis, da die Verringerung der Trainingszeit schnellere Iterationen und Verbesserungen des Modells ermöglicht.

#Erkenntnisse aus Basislinienmodellen

Neben der Bewertung unserer Methode untersuchten wir auch einfachere traditionelle Modelle des maschinellen Lernens. Überraschenderweise schnitten einfache Modelle wie KNN und lineare Regression bei der Vorhersage des Blicks aus EEG-Signalen nicht gut ab. Sie lieferten Ergebnisse, die nicht signifikant anders waren als zufällige Vermutungen, was die Komplexität der EEG-Daten und die Notwendigkeit zeigt, komplexere Ansätze zu verwenden, um sinnvolle Ergebnisse zu erzielen.

#Permutationsstudie

Wir haben auch untersucht, wie die Reihenfolge der EEG-Kanäle die Genauigkeit der Blickvorhersagen beeinflussen könnte. Durch Ändern der Reihenfolge der Kanäle fanden wir heraus, dass die Leistung des Modells konsistent blieb. Dies deutet darauf hin, dass die Beziehungen zwischen verschiedenen EEG-Signalen von Natur aus komplex sind und nicht einfach durch das Umordnen der Kanäle erfasst werden können.

#Fazit

Zusammenfassend haben wir eine Methode zur Vorhersage des Blicks aus EEG-Daten entwickelt, die Verbesserungen gegenüber früheren Modellen zeigt. Unsere Ergebnisse deuteten darauf hin, dass die Verwendung eines grösseren tiefen Konvolutionskerns, der alle EEG-Kanäle umfasst, einen tiefgreifenden Einfluss auf die Leistung des Modells hat. Während unser Modell die Genauigkeit im Vergleich zu bestehenden Methoden verbesserte, ist es wichtig zu beachten, dass noch viel zu tun ist. Die aktuellen Leistungsniveaus erreichen noch nicht die von traditionellen videobasierten Eyetracking-Systemen.

Weiterführende Forschung ist entscheidend, um EEG-basierte Techniken zur Blickvorhersage zu verbessern. Verschiedene Ansätze des maschinellen Lernens und Datensätze zu erkunden, wird dazu beitragen, die Grenzen weiter zu verschieben und uns näher an robustere Lösungen zu bringen, die in realen Szenarien angewendet werden können. Das Potenzial von EEG-basiertem Eyetracking ist erheblich, und mit den Fortschritten in der Technologie könnten wir bald breitere Anwendungen in verschiedenen Bereichen wie Gesundheitswesen, Gaming und darüber hinaus sehen.