Echtzeit-Pupillenerkennung mit eingebetteten Systemen

Die Augenverfolgungstechnologie ist inzwischen in vielen Produkten wie Smartphones und Videospielen verbreitet. Diese Technik hilft zu verstehen, wohin jemand schaut, was in vielen Bereichen nützlich sein kann, wie z.B. in der Nutzerforschung, beim Spielen und in der Werbung. Ein wichtiger Teil der Augenverfolgung ist die Erkennung der Pupille, dem schwarzen Teil des Auges, der Licht hineinlässt.

In diesem Artikel werden wir eine neue Methode zur Echtzeiterkennung von Pupillen mit einem eingebetteten System besprechen. Das bedeutet, dass die Verarbeitung direkt auf dem Gerät selbst erfolgt, anstatt Daten an einen Computer zu senden. Dieser Ansatz kann zu kleineren, effizienteren Geräten führen, die einfacher zu bedienen sind.

#Was ist Pupillenerkennung?

Bei der Pupillenerkennung geht es darum, die Pupille in von einer Kamera aufgenommenen Bildern zu finden. Das ist wichtig, weil es hilft zu wissen, wo jemand hinschaut, was in verschiedenen Anwendungen von Nutzen sein kann. Zum Beispiel können Unternehmen in der Nutzerforschung herausfinden, welche Produkte mehr Aufmerksamkeit erregen. In Videospielen kann die Sicht je nach Blickrichtung des Spielers angepasst werden. Ausserdem kann die Pupillenverfolgung im Gesundheitswesen hilfreich sein, etwa um Müdigkeit bei Fahrern zu überwachen.

#Die Notwendigkeit der Echtzeiterkennung

Traditionelle Augenverfolgungssysteme verlassen sich oft auf schwere Verarbeitung, die auf einem separaten Computer stattfindet. Das kann die Systeme unhandlich und weniger benutzerfreundlich machen. Echtzeiterkennung ermöglicht ein nahtloseres Erlebnis. Durch die Verarbeitung von Bildern direkt auf einem kleinen tragbaren Gerät kann das System leicht und tragbar sein.

#Die Hardware-Ausstattung

In unserem Aufbau verwenden wir ein kopfmontiertes Gerät, das zwei kleine Kameras mit einem Raspberry Pi, einem kleinen Computer, kombiniert. Das Design ist simpel und nutzt weit verbreitete Komponenten, was es anderen erleichtert, es nachzubauen.

Die Hauptbestandteile unseres Geräts sind:

• Augenkamera: Diese Kamera nimmt Bilder des Auges auf. Sie ist dafür ausgelegt, auch bei schwachem Licht gut zu arbeiten und verwendet Infrarotlicht, um die Bildqualität zu verbessern.
• Umgebungskamera: Diese Kamera erfasst, worauf der Benutzer schaut. Sie liefert Kontext zu den Augenbildern.
• Raspberry Pi: Dieser Computer führt die Erkennungssoftware aus und verarbeitet die Bilder. Er ist klein und energieeffizient.

#Die Erkennungspipeline

Wir haben eine Methode entwickelt, die eine Kantenerkennung verwendet, um die Pupille in den aufgenommenen Bildern zu finden. So funktioniert der Prozess:

1. Bildaufnahme: Die Augenkamera nimmt ein Bild des Auges des Benutzers unter Infrarotlicht auf.
2. Vorverarbeitung: Das Bild wird in Graustufen umgewandelt und unscharf gemacht, um das Rauschen zu reduzieren.
3. Kantenerkennung: Wir verwenden eine Technik namens Canny-Kantenerkennung, um Kanten im Bild zu finden.
4. Konturerkennung: Das System sucht nach geschlossenen Formen, die die Pupille darstellen könnten, basierend auf Grösse und Rundheit.
5. Ellipse-Anpassung: Schliesslich wird eine Ellipse an die identifizierte Kontur angepasst, um die beste Schätzung der Position der Pupille zu erhalten.

Diese Methode läuft mit 30 Bildern pro Sekunde und ist somit für Echtzeitanwendungen geeignet.

#Testen des Systems

Um unsere Pupillenerkennungspipeline zu bewerten, haben wir einen Datensatz von Bildern erstellt. Wir haben über 35.000 Bilder von 20 Teilnehmern mit unterschiedlichen ethnischen Hintergründen und Altersgruppen gesammelt. Die Teilnehmer nahmen an verschiedenen Aktivitäten teil, um vielfältige Daten zu sammeln, darunter das Schauen auf feste Punkte und das Bewegen ihrer Augen in verschiedene Richtungen.

Der Datensatz ist wertvoll für die Prüfung der Erkennungsmethodik unter realen Herausforderungen wie Schatten, Reflexionen und unterschiedlichen Lichtverhältnissen.

#Leistungsevaluation

Wir haben unser Erkennungssystem mit zwei Hauptdatensätzen getestet: unserem eigenen Datensatz und dem LPW (Labelled Pupil in the Wild) Datensatz.

Die Ergebnisse zeigten:

• Genauigkeit: Unser System erzielte eine durchschnittliche Genauigkeit von 51,9% bei der Pupillenerkennung mit einem durchschnittlichen Fehler von 5,3368 Pixeln.
• Herausforderungen: Die Erkennungsrate variiert je nach Bedingungen. Zum Beispiel können stark reflektierende Oberflächen oder Obstruktionen durch Brillen die Genauigkeit senken.

#Bedeutung der Parameterwahl

Die Leistung der Pupillenerkennungspipeline hängt stark von der Wahl der richtigen Parameter ab. Dazu gehören die Intensitätsschwellen für die Kantenerkennung und die Unschärfegrösse, die bei der Bildvorverarbeitung verwendet wird. Optimal ausgewählte Werte helfen, die Erkennungsgenauigkeit zu verbessern, ohne die Verarbeitungsfähigkeit des Raspberry Pi zu überlasten.

Wir haben Tests durchgeführt, um die besten Parameter zu finden, was zu merklichen Verbesserungen der Erkennungsraten führte.

#Ressourcenverbrauch

Beim Einsatz eingebetteter Systeme ist es wichtig, die Ressourcen sorgfältig zu verwalten. Unser Augenverfolgungssystem benötigt etwa 100 MB Speicher und verbraucht rund 30-35% der CPU, während es Bilder mit einer Auflösung von 480x640 Pixeln verarbeitet. Der Erkennungsprozess ist effizient genug, um in Echtzeit zu laufen, ohne dass es zu Verzögerungen auf dem Raspberry Pi kommt.

#Fazit

Unsere Arbeit zeigt, dass es möglich ist, ein Echtzeitsystem zur Pupillenerkennung mit einem kompakten, eingebetteten Aufbau zu entwickeln. Die Kombination aus leicht beschaffbarer Hardware und einer effizienten Software-Pipeline macht diesen Ansatz für Forscher und Entwickler zugänglich, die die Augenverfolgungstechnologie erkunden möchten.

Der Datensatz, den wir erstellt haben, zusammen mit der Erkennungssoftware, steht anderen zur Verfügung, um damit ihre Studien oder Projekte durchzuführen. Diese Transparenz fördert die Zusammenarbeit und Fortschritte im Bereich der Augenverfolgung und Pupillenerkennung.

Durch die Nutzung dieser Entwicklungen können wir die Interaktion der Benutzer im VR-Bereich verbessern, die Zugänglichkeit in der Technologie erhöhen und zur Forschung in psychologischen und verhaltenswissenschaftlichen Studien beitragen.

#Zukünftige Richtungen

Mit dem technologischen Fortschritt werden Augenverfolgungssysteme wahrscheinlich noch kleiner und effektiver. Zukünftige Forschungen könnten sich auf die Integration von maschinellen Lerntechniken konzentrieren, um die Genauigkeit der Pupillenerkennung unter herausfordernden Bedingungen zu verbessern. Ausserdem könnte die Erforschung anderer Anwendungen dieser Technologie, wie virtuelle Realitätserlebnisse oder Gesundheitsüberwachung, neue Innovationswege öffnen.

Die Augenverfolgung hat das Potenzial, zu verändern, wie wir mit Technologie interagieren und menschliches Verhalten verstehen. Während wir diese Systeme weiter verbessern, kommen wir dem Ziel näher, Augenverfolgung zu einem Standardbestandteil der Alltags-technologie zu machen.