Simple Science

Ciência de ponta explicada de forma simples

# Engenharia Eletrotécnica e Ciência dos Sistemas# Processamento de Sinal

Revolucionando a Detecção de Toque com Tecnologia de Radar

Novo método de radar para detecção de toque oferece uma solução econômica para telas grandes.

― 6 min ler


Sistema de Detecção porSistema de Detecção porRadar Táctilinteração por toque em telas grandes.Solução de radar econômica melhora a
Índice

As telas sensíveis ao toque estão por todo lado hoje em dia. Elas permitem que a gente interaja com nossos dispositivos tocando e arrastando. Mas usar telas capacitivas em displays grandes é bem caro, já que o preço aumenta conforme o tamanho da tela. Para contornar isso, os pesquisadores estão buscando novas formas de detectar onde você toca sem usar a tecnologia de touchscreen.

Uma forma promissora é usar tecnologia de radar. Especificamente, podemos usar um tipo de radar conhecido como Radar MmWave. Essa tecnologia consegue detectar objetos a distâncias bem pequenas. No nosso trabalho, focamos em usar uma rede desses sensores de radar para localizar com precisão onde o usuário toca em um display grande.

O que é Radar mmWave?

O radar de onda milimétrica (mmWave) funciona enviando uma onda e medindo quanto tempo leva para a onda voltar depois de bater em um objeto. Isso permite ao radar determinar a distância até o objeto. O principal desafio é que o radar mmWave tem limites em quão precisamente pode medir distâncias pequenas. Isso se deve ao jeito que as ondas de radar se comportam ao encontrar objetos.

Para melhorar a precisão, usamos uma técnica chamada Aprendizado Profundo. Aprendizado profundo envolve treinar um sistema de computador para reconhecer padrões a partir de dados. No nosso caso, treinamos um computador para reconhecer a distância e o local de um toque com base nos sinais de radar.

O Experimento

Para testar nosso método, montamos um experimento usando uma tela e um braço robótico. O braço é controlado para tocar pontos específicos na tela usando um dedo de metal. Isso simula um dedo humano. Colocamos quatro sensores de radar mmWave ao redor da tela para coletar dados enquanto o braço robótico a toca.

O objetivo era coletar dados suficientes para que o computador pudesse aprender a entender onde o dedo está tocando com base nos sinais de radar. Gravamos várias sessões de toque, juntando dados sobre a posição do dedo em comparação com o que a tela sensível ao toque reportaria como o local verdadeiro do toque.

Coleta de Dados

Durante nosso experimento, coletamos dados de 50 sessões. Cada sessão envolveu o braço robótico tocando a tela em um padrão de grade. Os pontos estavam espaçados uniformemente. Depois de reunir dados suficientes, também criamos conjuntos de teste e validação. Assim, pudemos ver como o modelo treinado se saiu com dados que ele não tinha visto antes.

Dividimos os dados em três grupos: treinamento, validação e teste. O grupo de treinamento ensinou o modelo a interpretar os sinais de radar, enquanto o grupo de validação ajudou a ajustar o modelo. Por fim, o grupo de teste nos permitiu avaliar quão bem o modelo funcionava na prática.

Treinando o Modelo

Treinamos um modelo de aprendizado profundo com os dados que coletamos. O modelo usou os sinais de radar como entrada e tentou prever o ponto de toque na tela. Nosso modelo foi projetado com várias camadas que o ajudaram a aprender as relações entre os dados de radar e as localizações dos toques.

Esse processo de treinamento é fundamental para fazer o sistema baseado em radar funcionar efetivamente. O modelo precisa aprender a reconhecer quando um toque acontece e onde acontece com base nos sinais de radar. Após o treinamento, testamos quão bem o modelo poderia prever os pontos de toque.

Resultados

Medimos a precisão do nosso modelo comparando suas previsões com os pontos de toque reais gerados pelo braço robótico. Os resultados foram promissores. Nosso método baseado em radar conseguiu alcançar um nível de precisão muito maior do que as formas tradicionais de processar sinais de radar.

Também comparamos nosso novo método com abordagens convencionais de processamento de sinal. Os métodos convencionais mostraram erros maiores nas estimativas de posição, enquanto nosso modelo de aprendizado profundo reduziu significativamente esses erros.

Além disso, descobrimos que o tamanho do modelo e a velocidade de fazer previsões eram adequados para uso em tempo real. Isso significa que o sistema poderia funcionar rápido o suficiente para ser prático em aplicações do dia a dia.

Vantagens do Novo Sistema

Usar tecnologia de radar para localização de toque tem várias vantagens, especialmente para displays grandes. Uma grande vantagem é o custo. Sensores de radar podem ser menos caros de produzir e implementar em uma tela grande em comparação com telas capacitivas tradicionais.

Outro benefício é a capacidade de usar uma área interativa maior. Isso significa que os usuários podem interagir com telas maiores sem a necessidade de tecnologia de touchscreen cara. Por exemplo, esse método poderia ser usado em apresentações interativas ou em grandes exibições públicas onde várias pessoas podem querer tocar a tela ao mesmo tempo.

Além disso, a tecnologia de radar permite uma detecção precisa de toque mesmo quando a mão ou os dedos do usuário não estão tocando diretamente a superfície. Isso oferece uma nova maneira de interagir com dispositivos, tornando-os mais acessíveis em diversos ambientes.

Conclusão

Nossa pesquisa mostra que o radar mmWave pode detectar efetivamente as localizações de toque em um display usando técnicas de aprendizado profundo. Ao aproveitar a tecnologia de radar, podemos oferecer uma alternativa mais acessível e flexível às telas sensíveis ao toque tradicionais.

Isso abre novas possibilidades para o futuro da interação humano-dispositivo, especialmente em contextos onde displays grandes são necessários. Os achados podem levar ao desenvolvimento de novas ferramentas e sistemas que melhoram a experiência do usuário em vários campos, desde educação até espaços públicos.

Resumindo, demos um passo importante rumo à criação de um sistema de localização de toque que é eficiente e econômico. Trabalhos futuros podem focar em aprimorar ainda mais a tecnologia para detectar com precisão os movimentos e gestos da mão humana, além de expandir suas aplicações além da localização de toque.

Fonte original

Título: Sub-Resolution mmWave FMCW Radar-based Touch Localization using Deep Learning

Resumo: Touchscreen-based interaction on display devices are ubiquitous nowadays. However, capacitive touch screens, the core technology that enables its widespread use, are prohibitively expensive to be used in large displays because the cost increases proportionally with the screen area. In this paper, we propose a millimeter wave (mmWave) radar-based solution to achieve subresolution error performance using a network of four mmWave radar sensors. Unfortunately, achieving this is non-trivial due to inherent range resolution limitations of mmWave radars, since the target (human hand, finger etc.) is 'distributed' in space. We overcome this using a deep learning-based approach, wherein we train a deep convolutional neural network (CNN) on range-FFT (range vs power profile)-based features against ground truth (GT) positions obtained using a capacitive touch screen. To emulate the clutter characteristics encountered in radar-based positioning of human fingers, we use a metallic finger mounted on a metallic robot arm as the target. Using this setup, we demonstrate subresolution position error performance. Compared to conventional signal processing (CSP)-based approaches, we achieve a 2-3x reduction in positioning error using the CNN. Furthermore, we observe that the inference time performance and CNN model size support real-time integration of our approach on general purpose processor-based computing platforms.

Autores: Raghunandan M. Rao, Amit Kachroo, Koushik A. Manjunatha, Morris Hsu, Rohit Kumar

Última atualização: 2024-08-06 00:00:00

Idioma: English

Fonte URL: https://arxiv.org/abs/2408.03485

Fonte PDF: https://arxiv.org/pdf/2408.03485

Licença: https://creativecommons.org/licenses/by/4.0/

Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.

Obrigado ao arxiv pela utilização da sua interoperabilidade de acesso aberto.

Mais de autores

Artigos semelhantes