Révolutionner la détection tactile avec la technologie radar
Nouvelle méthode de radar pour la détection tactile propose une solution économique pour les grands écrans.
― 6 min lire
Table des matières
Les écrans tactiles sont partout aujourd'hui. Ils nous permettent d'interagir avec nos appareils en tapotant et en glissant. Cependant, utiliser des écrans tactiles capacitifs pour de grands affichages est super cher, car le coût augmente en fonction de la taille de l'écran. Pour y remédier, des chercheurs examinent de nouvelles façons de détecter où tu touches sans utiliser la technologie des écrans tactiles.
Une méthode prometteuse est d'utiliser la technologie radar. Plus précisément, on peut utiliser un type de radar connu sous le nom de Radar MmWave. Cette technologie peut détecter des objets à des distances très petites. Dans notre travail, on se concentre sur l'utilisation d'un réseau de ces capteurs radar pour localiser avec précision où un utilisateur touche sur un grand écran.
Qu'est-ce que le radar mmWave ?
Le radar à ondes millimétriques (mmWave) fonctionne en envoyant une onde et en mesurant combien de temps il lui faut pour rebondir après avoir heurté un objet. Cela permet au radar de déterminer la distance jusqu'à l'objet. Le principal défi est que le radar mmWave a des limites sur la précision de la mesure des petites distances, à cause de la manière dont les ondes radar se comportent face aux objets.
Pour améliorer la précision, on utilise une technique appelée Apprentissage profond. L'apprentissage profond consiste à entraîner un système informatique à reconnaître des motifs à partir de données. Dans notre cas, on entraîne un ordinateur à reconnaître la distance et la localisation d'un toucher basé sur les signaux radar.
L'expérience
Pour tester notre méthode, on a mis en place une expérience avec un écran et un bras robotique. Le bras est contrôlé pour toucher des points spécifiques sur l'écran avec un doigt en métal. Cela simule un doigt humain. On a installé quatre capteurs radar mmWave autour de l'écran pour collecter des données pendant que le bras robotique le touche.
L'objectif était de collecter suffisamment de données pour que l'ordinateur puisse apprendre à comprendre où le doigt touche en fonction des signaux radar. On a enregistré plusieurs sessions de toucher, recueillant des données sur la position du doigt comparée à ce que l'écran tactile rapporterait comme la vraie localisation du toucher.
Collecte de données
Au cours de notre expérience, on a collecté des données de 50 sessions. Chaque session impliquait le bras robotique touchant l'écran en suivant un motif en grille. Les points étaient espacés régulièrement. Après avoir suffisamment collecté de données, on a aussi créé des ensembles de test et de validation. De cette façon, on pouvait voir à quel point le modèle entraîné performait sur des données qu'il n'avait pas vues auparavant.
On a divisé les données en trois groupes : entraînement, validation et test. Le groupe d’entraînement a appris au modèle à interpréter les signaux radar, tandis que le groupe de validation nous a aidés à peaufiner le modèle. Enfin, le groupe de test nous a permis d’évaluer à quel point le modèle fonctionnait en pratique.
Entraînement du modèle
On a entraîné un modèle d'apprentissage profond avec les données qu'on a collectées. Le modèle prenait les signaux radar comme entrée et essayait de prédire le point de contact sur l'écran. Notre modèle était conçu avec plusieurs couches qui l’aidaient à apprendre les relations entre les données radar et les emplacements de contact.
Ce processus d'entraînement est clé pour faire fonctionner efficacement le système basé sur le radar. Le modèle doit apprendre à reconnaître quand un toucher se produit et où cela se passe en fonction des signaux radar. Après l'entraînement, on a testé à quel point le modèle pouvait prédire les points de contact.
Résultats
On a mesuré l'exactitude de notre modèle en comparant ses prédictions aux véritables points de contact produits par le bras robotique. Les résultats étaient prometteurs. Notre méthode basée sur le radar était capable d'atteindre un niveau de précision bien plus élevé que les méthodes traditionnelles de traitement des signaux radar.
On a aussi comparé notre nouvelle méthode avec des approches de traitement du signal conventionnelles. Les méthodes conventionnelles montraient des erreurs plus importantes dans les estimations de position, tandis que notre modèle d'apprentissage profond réduisait considérablement ces erreurs.
De plus, on a remarqué que la taille du modèle et sa rapidité de prédiction étaient appropriées pour un usage en temps réel. Cela signifie que le système pouvait fonctionner assez rapidement pour être pratique dans des applications quotidiennes.
Avantages du nouveau système
Utiliser la technologie radar pour la localisation des touches a plusieurs avantages, surtout pour les grands affichages. Un des principaux avantages est le coût. Les capteurs radar peuvent être moins coûteux à produire et à mettre en œuvre sur un grand écran comparé aux écrans tactiles capacitifs traditionnels.
Un autre bénéfice est la possibilité d'utiliser une plus grande zone interactive. Cela signifie que les utilisateurs peuvent interagir avec des écrans plus grands sans avoir besoin de technologie d'écran tactile coûteuse. Par exemple, cette méthode pourrait être utilisée dans des présentations interactives ou des affichages publics où plusieurs utilisateurs pourraient vouloir toucher l'écran en même temps.
En plus, la technologie radar permet une détection précise des touches même quand la main ou les doigts de l’utilisateur ne touchent pas directement la surface. Cela offre une nouvelle façon d'interagir avec les appareils, les rendant plus accessibles dans divers environnements.
Conclusion
Notre recherche montre que le radar mmWave peut détecter efficacement les emplacements de contact sur un affichage en utilisant des techniques d'apprentissage profond. En exploitant la technologie radar, on peut offrir une alternative plus abordable et flexible aux écrans tactiles traditionnels.
Cela ouvre de nouvelles possibilités pour le futur de l'interaction homme-machine, surtout dans des contextes où de grands affichages sont nécessaires. Les résultats peuvent mener au développement de nouveaux outils et systèmes qui améliorent l'expérience utilisateur dans divers domaines, de l'éducation aux espaces publics.
En résumé, on a fait un pas important vers la création d'un système de localisation des touches qui soit à la fois efficace et rentable. Les travaux futurs pourraient se concentrer sur l'amélioration de la technologie pour détecter avec précision les mouvements et gestes des mains humaines, ainsi que sur l'élargissement de ses applications au-delà de la simple localisation des touches.
Titre: Sub-Resolution mmWave FMCW Radar-based Touch Localization using Deep Learning
Résumé: Touchscreen-based interaction on display devices are ubiquitous nowadays. However, capacitive touch screens, the core technology that enables its widespread use, are prohibitively expensive to be used in large displays because the cost increases proportionally with the screen area. In this paper, we propose a millimeter wave (mmWave) radar-based solution to achieve subresolution error performance using a network of four mmWave radar sensors. Unfortunately, achieving this is non-trivial due to inherent range resolution limitations of mmWave radars, since the target (human hand, finger etc.) is 'distributed' in space. We overcome this using a deep learning-based approach, wherein we train a deep convolutional neural network (CNN) on range-FFT (range vs power profile)-based features against ground truth (GT) positions obtained using a capacitive touch screen. To emulate the clutter characteristics encountered in radar-based positioning of human fingers, we use a metallic finger mounted on a metallic robot arm as the target. Using this setup, we demonstrate subresolution position error performance. Compared to conventional signal processing (CSP)-based approaches, we achieve a 2-3x reduction in positioning error using the CNN. Furthermore, we observe that the inference time performance and CNN model size support real-time integration of our approach on general purpose processor-based computing platforms.
Auteurs: Raghunandan M. Rao, Amit Kachroo, Koushik A. Manjunatha, Morris Hsu, Rohit Kumar
Dernière mise à jour: 2024-08-06 00:00:00
Langue: English
Source URL: https://arxiv.org/abs/2408.03485
Source PDF: https://arxiv.org/pdf/2408.03485
Licence: https://creativecommons.org/licenses/by/4.0/
Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.
Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.