Método de Deep Learning para Localização de Reflexão Corneal
Um novo método pra localizar com precisão os reflexos da córnea em imagens dos olhos.
― 4 min ler
Índice
Neste artigo, discutimos um novo método para encontrar uma reflexão específica nas imagens dos olhos, conhecida como reflexão corneal (CR). Esse processo é importante para tecnologias como rastreadores oculares que ajudam a entender onde a pessoa está olhando. Os métodos tradicionais para encontrar o centro da CR dependem de etapas complicadas e, muitas vezes, levam muito tempo. Nosso método usa Aprendizado Profundo e Dados Sintéticos para simplificar esse processo.
Contexto
Os rastreadores oculares funcionam detectando a pupila e a CR para determinar a direção do olhar. Muitos sistemas de alta qualidade dependem da Localização precisa dessas características. Métodos anteriores tinham dificuldades com precisão, especialmente quando havia ruído na imagem. A necessidade de anotação manual em imagens reais dos olhos também tornava o treinamento dos modelos desafiador. Propondo uma solução para esses problemas, usamos dados sintéticos para treinar nosso modelo.
Metodologia
Nossa abordagem envolve criar imagens sintéticas dos olhos com reflexões corneais. Usamos um modelo de aprendizado profundo para encontrar o centro da CR nessas imagens. Nosso modelo é treinado apenas com dados sintéticos, evitando o processo trabalhoso de rotular manualmente imagens reais.
Treinamento do Modelo
Para treinar nosso modelo, sintetizamos imagens dos olhos com vários níveis de ruído e detalhes de fundo. O modelo foi projetado para reconhecer as características únicas da CR mesmo quando estavam sobrepostas a diferentes fundos. Testamos nosso modelo tanto em imagens sintéticas quanto em imagens reais dos olhos para avaliar sua eficácia.
Testes
Fizemos testes em duas etapas principais. Primeiro, verificamos quão precisamente o modelo podia encontrar os centros da CR em imagens sintéticas. Depois de confirmar seu desempenho, aplicamos o modelo em imagens reais coletadas de participantes durante tarefas de fixação.
Resultados
Nossos testes mostraram que nosso método de aprendizado profundo poderia localizar o centro da CR com mais precisão do que os métodos tradicionais. Isso foi verdadeiro tanto para imagens sintéticas quanto reais. O modelo demonstrou uma precisão excepcional, o que é crucial para melhorar as tarefas de estimativa do olhar.
Comparação com Métodos Tradicionais
Ao comparar nosso método com técnicas existentes, descobrimos que nossa abordagem consistentemente entregava melhores resultados em termos de precisão e exatidão. Métodos tradicionais, como limiarização e simetria radial, tinham limitações, especialmente em situações de fundo complexo. Em contraste, nosso modelo manteve um desempenho alto mesmo em condições desafiadoras.
Aplicação em Imagens Reais dos Olhos
Aplicamos nosso método em imagens reais dos olhos coletadas de participantes. Os resultados confirmaram que o modelo poderia localizar efetivamente os centros da CR, superando as técnicas tradicionais em precisão. Essa melhoria levou a uma qualidade de dados aumentada para aplicações de Rastreamento de Olhar.
Implicações
A capacidade de localizar com precisão os centros da CR pode melhorar significativamente o desempenho dos rastreadores oculares. Isso é particularmente importante para aplicações que exigem uma análise detalhada de pequenos movimentos oculares, como microsacadas e perseguições lentas. Quanto melhor a localização do centro da CR, mais confiáveis os dados do olhar serão.
Direções Futuras
Embora nosso método tenha mostrado potencial, há várias áreas para futuras pesquisas. Queremos expandir a abordagem para localizar o centro da pupila, o que melhorará ainda mais a qualidade do sinal de olhar. Além disso, testar nosso método em cenários mais complexos, como múltiplas CRs ou condições de iluminação variadas, ajudará a avaliar sua robustez.
Conclusão
Em resumo, introduzimos um novo método baseado em aprendizado profundo para localizar centros de CR usando dados sintéticos. Essa abordagem simplifica o processo de treinamento e melhora a precisão, fornecendo uma ferramenta valiosa para aprimorar os métodos de estimativa do olhar. Os resultados da nossa pesquisa ilustram o potencial dos dados sintéticos no treinamento de modelos eficazes para aplicações de rastreamento ocular.
Título: Precise localization of corneal reflections in eye images using deep learning trained on synthetic data
Resumo: We present a deep learning method for accurately localizing the center of a single corneal reflection (CR) in an eye image. Unlike previous approaches, we use a convolutional neural network (CNN) that was trained solely using simulated data. Using only simulated data has the benefit of completely sidestepping the time-consuming process of manual annotation that is required for supervised training on real eye images. To systematically evaluate the accuracy of our method, we first tested it on images with simulated CRs placed on different backgrounds and embedded in varying levels of noise. Second, we tested the method on high-quality videos captured from real eyes. Our method outperformed state-of-the-art algorithmic methods on real eye images with a 35% reduction in terms of spatial precision, and performed on par with state-of-the-art on simulated images in terms of spatial accuracy.We conclude that our method provides a precise method for CR center localization and provides a solution to the data availability problem which is one of the important common roadblocks in the development of deep learning models for gaze estimation. Due to the superior CR center localization and ease of application, our method has the potential to improve the accuracy and precision of CR-based eye trackers
Autores: Sean Anthony Byrne, Marcus Nyström, Virmarie Maquiling, Enkelejda Kasneci, Diederick C. Niehorster
Última atualização: 2023-12-31 00:00:00
Idioma: English
Fonte URL: https://arxiv.org/abs/2304.05673
Fonte PDF: https://arxiv.org/pdf/2304.05673
Licença: https://creativecommons.org/licenses/by-sa/4.0/
Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.
Obrigado ao arxiv pela utilização da sua interoperabilidade de acesso aberto.