Méthode de Deep Learning pour la localisation des réflexions cornéennes
Une nouvelle méthode pour localiser avec précision les réflexions cornéennes dans les images des yeux.
― 4 min lire
Table des matières
Dans cet article, on discute d'une nouvelle méthode pour trouver un reflet spécifique dans les images des yeux, connu sous le nom de reflet cornéen (CR). Ce processus est super important pour des technologies comme les eye trackers qui nous aident à comprendre où une personne regarde. Les méthodes traditionnelles pour trouver le centre du CR reposent sur des étapes compliquées et prennent souvent beaucoup de temps. Notre méthode utilise l'Apprentissage profond et des Données synthétiques pour simplifier tout ça.
Contexte
Les eye trackers fonctionnent en détectant la pupille et le CR pour déterminer la direction du regard. Beaucoup de systèmes de haute qualité dépendent d'une Localisation précise de ces caractéristiques. Les méthodes précédentes avaient du mal avec la précision, surtout quand il y avait du bruit dans les images. La nécessité d'annotations manuelles dans de vraies images des yeux rendait également l'entraînement des modèles difficile. On propose une solution à ces deux problèmes en utilisant des données synthétiques pour entraîner notre modèle.
Méthodologie
Notre approche consiste à créer des images synthétiques des yeux avec des reflets cornéens. On utilise un modèle d'apprentissage profond pour trouver le centre du CR dans ces images. Notre modèle est uniquement entraîné sur des données synthétiques, évitant ainsi le processus laborieux de l'étiquetage manuel des vraies images.
Entraînement du Modèle
Pour entraîner notre modèle, on a synthétisé des images des yeux avec différents niveaux de bruit et de détails de fond. Le modèle a été conçu pour reconnaître les caractéristiques uniques du CR même quand elles étaient superposées à différents fonds. On a testé notre modèle sur des images synthétiques et des vraies images des yeux pour évaluer son efficacité.
Tests
On a réalisé des tests en deux grandes étapes. D'abord, on a vérifié à quel point le modèle pouvait trouver les centres de CR dans des images synthétiques. Après avoir confirmé ses performances, on a appliqué le modèle sur de vraies images des yeux collectées auprès de participants pendant des tâches de fixation.
Résultats
Nos tests ont montré que notre méthode d'apprentissage profond pouvait localiser le centre du CR avec plus de précision que les méthodes traditionnelles. C'était vrai pour les images synthétiques et réelles. Le modèle a montré une précision exceptionnelle, ce qui est crucial pour améliorer les tâches d'estimation du regard.
Comparaison avec les Méthodes Traditionnelles
En comparant notre méthode avec les techniques existantes, on a constaté que notre approche offrait systématiquement de meilleurs résultats en termes de précision. Les méthodes traditionnelles comme le seuillage et la symétrie radiale avaient des limites, notamment dans des situations de fond complexe. En revanche, notre modèle maintenait une performance élevée même dans des conditions difficiles.
Application aux Vraies Images des Yeux
On a appliqué notre méthode sur de vraies images des yeux collectées auprès de participants. Les résultats ont confirmé que le modèle pouvait localiser efficacement les centres de CR, surpassant les techniques traditionnelles en précision. Cette amélioration a conduit à une meilleure qualité des données pour les applications de Suivi du regard.
Implications
La capacité à localiser précisément les centres de CR peut considérablement améliorer les performances des eye trackers. C'est particulièrement important pour des applications nécessitant une analyse détaillée de petits mouvements oculaires, comme les microsaccades et les poursuites lentes. Plus la localisation du centre du CR est précise, plus les données de regard seront fiables.
Directions Futures
Bien que notre méthode ait montré des promesses, il y a plusieurs pistes pour la recherche future. On vise à étendre l'approche pour localiser le centre de la pupille, ce qui améliorera encore la qualité du signal de regard. De plus, tester notre méthode dans des scénarios plus complexes, comme plusieurs CR ou des conditions d'éclairage variées, aidera à évaluer sa robustesse.
Conclusion
En résumé, on a introduit une nouvelle méthode basée sur l'apprentissage profond pour la localisation du centre du CR en utilisant des données synthétiques. Cette approche simplifie le processus d'entraînement et améliore la précision, offrant un outil précieux pour améliorer les méthodes d'estimation du regard. Les résultats de notre recherche illustrent le potentiel des données synthétiques dans l'entraînement de modèles efficaces pour les applications de suivi des yeux.
Titre: Precise localization of corneal reflections in eye images using deep learning trained on synthetic data
Résumé: We present a deep learning method for accurately localizing the center of a single corneal reflection (CR) in an eye image. Unlike previous approaches, we use a convolutional neural network (CNN) that was trained solely using simulated data. Using only simulated data has the benefit of completely sidestepping the time-consuming process of manual annotation that is required for supervised training on real eye images. To systematically evaluate the accuracy of our method, we first tested it on images with simulated CRs placed on different backgrounds and embedded in varying levels of noise. Second, we tested the method on high-quality videos captured from real eyes. Our method outperformed state-of-the-art algorithmic methods on real eye images with a 35% reduction in terms of spatial precision, and performed on par with state-of-the-art on simulated images in terms of spatial accuracy.We conclude that our method provides a precise method for CR center localization and provides a solution to the data availability problem which is one of the important common roadblocks in the development of deep learning models for gaze estimation. Due to the superior CR center localization and ease of application, our method has the potential to improve the accuracy and precision of CR-based eye trackers
Auteurs: Sean Anthony Byrne, Marcus Nyström, Virmarie Maquiling, Enkelejda Kasneci, Diederick C. Niehorster
Dernière mise à jour: 2023-12-31 00:00:00
Langue: English
Source URL: https://arxiv.org/abs/2304.05673
Source PDF: https://arxiv.org/pdf/2304.05673
Licence: https://creativecommons.org/licenses/by-sa/4.0/
Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.
Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.