Avanços no Rastreamento de Pupilas com Câmeras de Evento

Saccades são movimentos rápidos dos olhos que acontecem quando a pessoa muda a atenção de uma coisa para outra. Esses movimentos podem ser muito rápidos, às vezes até mais do que piscar. Saccades podem chegar a até 700 graus por segundo, especialmente quando os olhos cobrem uma área maior. Os pesquisadores investigaram saccades para entender melhor várias Condições Neurológicas. Uma parte importante do estudo desses movimentos é rastrear com precisão a posição da pupila, já que isso ajuda a descobrir para onde a pessoa está olhando.

Câmeras comuns costumam ter dificuldade em acompanhar a velocidade desses movimentos oculares, o que pode causar desfocagem e atrasos. As câmeras de evento oferecem uma solução ao capturar mudanças na cena visual à medida que acontecem. Isso permite um rastreamento rápido e claro dos movimentos oculares. Neste artigo, apresentamos uma forma de rastrear os movimentos da pupila usando câmeras de evento e um modelo específico chamado YOLOv8, que é eficaz para detectar objetos.

#Importância do Rastreamento da Pupila

Rastrear a pupila é importante para entender a saúde mental e condições neurológicas como esquizofrenia, concussões e doença de Parkinson. Mudanças nas saccades podem indicar alterações sutis no cérebro, especialmente em adultos mais velhos. Para tornar o rastreamento da pupila útil tanto para diagnóstico quanto para pesquisa, precisamos identificar marcadores específicos dos movimentos oculares, como a rapidez com que a pupila está se movendo.

O rastreamento automático da pupila pode ajudar em áreas como Interação Humano-Computador (HCI), Realidade Virtual (VR) e Realidade Estendida (XR). Essa tecnologia permite que os pesquisadores analisem como a pupila reage ao longo do tempo, levando a melhores insights sobre condições psicológicas. Recentemente, estudos têm tentado melhorar o rastreamento da pupila, que geralmente se divide em dois tipos: rastreamento à distância (rastreio remoto) e rastreamento próximo ao olho (rastreio próximo ao olho). Para um rastreamento eficaz em situações do dia a dia, ferramentas como câmeras de evento são essenciais.

#Vantagens das Câmeras de Evento

As câmeras de evento ganharam popularidade para o rastreamento da pupila porque conseguem capturar imagens em velocidades muito altas. Elas funcionam registrando mudanças na luz em cada pixel, o que significa que conseguem lidar melhor com movimentos rápidos do que câmeras tradicionais. As câmeras de evento oferecem uma alta faixa dinâmica, baixa latência e alta resolução temporal. Como elas só registram mudanças, conseguem respeitar a privacidade do usuário, não coletando informações detalhadas sobre a íris, a menos que alguém tente reconstruir isso.

Embora os pesquisadores tenham desenvolvido técnicas para proteger a privacidade ao usar câmeras de evento, algumas informações sensíveis ainda poderiam ser recuperadas dos dados. Métodos como criptografia de eventos e embaralhamento estão sendo explorados para aumentar a proteção da privacidade.

#Trabalhos Anteriores em Rastreamento da Pupila

Esforços iniciais para rastrear pupilas usaram técnicas básicas de visão computacional e aprendizado de máquina. Muitos desses estudos dependiam de sistemas de câmeras regulares, às vezes até incorporando luz infravermelha próxima para um melhor rastreamento. Abordagens mais novas buscam combinar câmeras de evento com técnicas modernas de visão computacional, como converter eventos em vídeos, tornando-os compatíveis com algoritmos de aprendizado profundo. O YOLOv8 é uma dessas ferramentas que pode ajudar a detectar pupilas de forma eficaz.

Vários estudos se concentraram em desenvolver métodos para rastreamento da pupila. Por exemplo, um estudo criou um grande banco de dados para treinar algoritmos que conseguem reconhecer pupilas usando uma mistura de imagens de evento e regulares. Outro esforço de pesquisa desenvolveu um método que processa eventos em tempo real, permitindo um rastreamento rápido da pupila mesmo com movimentos oculares rápidos.

#Como Funciona o Rastreamento da Pupila

Para rastrear a pupila usando algoritmos modernos como o YOLOv8, precisamos preparar os dados de evento corretamente. Isso envolve transformar os dados das câmeras de evento em um formato que esses algoritmos possam entender. Convertendo os eventos em quadros 2D com base nas mudanças de luz ao longo do tempo, esse método permite manter informações importantes sobre o tempo enquanto evita a perda de dados devido a movimentos rápidos.

As câmeras de evento podem teoricamente alcançar taxas de quadros extremamente altas, o que as torna eficazes para capturar movimentos rápidos. Nosso método cria quadros a 100 quadros por segundo, reunindo eventos em curtos períodos. Isso ajuda a acompanhar detalhes importantes que câmeras tradicionais poderiam perder.

#Treinando o Modelo YOLOv8

Usamos os quadros gerados pelas câmeras de evento para treinar o modelo YOLOv8 para rastreamento da pupila. Os dados que coletamos incluíram dados de evento de vários participantes envolvidos em diversas sessões de movimentos oculares. Processamos esses dados para criar um conjunto diverso de quadros para o modelo aprender.

O YOLOv8 é conhecido por sua velocidade e precisão, tornando-o uma opção adequada para tarefas como rastreamento da pupila. O modelo foi treinado em uma unidade de processamento gráfico (GPU) poderosa, utilizando um método chamado AdamW para otimizar seu desempenho.

#Resultados e Desempenho

Avalizamos o desempenho de várias variações do modelo YOLOv8 no rastreamento da pupila. Os modelos foram testados quanto à sua precisão e capacidade de detectar pupilas. Um dos modelos menores (YOLOv8n) teve um desempenho excepcional, mostrando alta precisão na identificação de pupilas com uma baixa taxa de falsos positivos. Outros modelos também se saíram bem, mas os maiores tinham uma complexidade um pouco mais alta.

Analisamos diferentes métricas para entender como cada modelo se saiu. O YOLOv8n conseguiu as melhores pontuações em precisão e exatidão, mas sua capacidade de detectar cada pupila era um pouco menor do que a de modelos maiores. Isso significa que, embora tenha se saído bem no geral, pode perder alguns movimentos da pupila que são essenciais para certas aplicações.

#Desafios e Trabalho Futuro

Apesar do nosso sucesso, enfrentamos desafios, especialmente ao testar nosso modelo em diferentes conjuntos de dados. Como focamos em dados próximos ao olho, o modelo não teve um desempenho tão bom em conjuntos de dados remotos onde a pupila poderia estar ocluída. Para melhorar isso, planejamos coletar mais dados de olho remoto e incorporar técnicas que se concentrem em características importantes dentro do olho.

Embora o modelo YOLOv8n tenha mostrado um desempenho ótimo, sua taxa de recuperação mais baixa indica que, em algumas situações, pode não capturar todos os movimentos da pupila. Isso é crítico para casos onde cada detecção é vital.

#Conclusão

Nosso estudo demonstrou com sucesso como rastrear pupilas usando câmeras de evento e modelos de aprendizado de máquina. Ao converter dados de câmeras de evento em formatos que os algoritmos podem usar, conseguimos reduzir problemas frequentemente enfrentados com métodos de rastreamento tradicionais. Nossos achados mostram que câmeras de evento podem ser muito eficazes no rastreamento de movimentos oculares, especialmente em aplicações que exigem respostas rápidas.

No futuro, acreditamos que usar câmeras de evento para analisar movimentos oculares pode levar a avanços na compreensão da cognição e no diagnóstico de condições neurológicas. As possibilidades que estão à frente são promissoras e pesquisas adicionais podem abrir caminho para melhores ferramentas de diagnóstico não invasivas.