ShelfHelp : Un nouvel outil pour les acheteurs malvoyants

Faire les courses peut être galère pour les personnes malvoyantes (PVI). Avec des milliers de produits sur les étagères et plein de nouveautés chaque année, c’est un vrai défi même pour ceux qui voient bien. Ce document présente un système appelé ShelfHelp qui vise à aider les personnes malvoyantes à faire leurs courses de manière plus autonome avec une canne robotisée. La canne est pas seulement faite pour la navigation, mais elle a aussi des fonctionnalités pour aider à récupérer des produits dans les supermarchés.

#Importance des Courses Autonomes

Pouvoir faire ses courses tout seul, c'est super important pour une bonne qualité de vie. Pour les personnes malvoyantes, avoir besoin d'aide pour faire les courses peut mener à un manque de vie privée et d'autonomie. Beaucoup de gens préfèrent ne pas demander d'aide au personnel des magasins, surtout pour des trucs qu'ils veulent garder privés, comme des produits de soin personnel. ShelfHelp cherche à réduire le besoin d'assistance humaine pour trouver et récupérer des articles sur les étagères, ce qui améliore l'expérience de shopping.

#Défis Rencontrés par les Personnes Malvoyantes

Faire les courses, c'est trois tâches principales : naviguer dans le magasin, récupérer les produits et les examiner. Les personnes malvoyantes font souvent face à des défis qui rendent ces tâches plus difficiles. Se fier uniquement au toucher peut être inefficace. Par exemple, les plans de travail de cuisine peuvent avoir des objets tranchants ou chauds, ce qui soulève des préoccupations de sécurité. De même, les supermarchés ont souvent beaucoup d'articles similaires proches les uns des autres, ce qui complique l'identification du bon produit juste par le toucher.

#Aperçu du Système ShelfHelp

ShelfHelp combine une canne robotisée avec des technologies avancées pour aider les personnes malvoyantes à faire leurs courses. Le système inclut des caméras pour localiser les produits et un planificateur qui donne des instructions verbales pour guider les utilisateurs à récupérer les articles. L'objectif est d'aider les utilisateurs à trouver et à saisir les produits efficacement tout en réduisant le temps passé à chercher.

Le système a deux composants principaux :

1. Algorithme de Localisation de Produit : Un moyen intelligent d'identifier l'emplacement des produits sur les étagères du magasin avec une caméra portable.
2. Système de Guidage de Manipulation : Il donne des commandes verbales pour aider les utilisateurs à atteindre et saisir les produits rapidement.

#La Canne Robotisée

La canne robotisée utilisée dans ShelfHelp est équipée de deux types de caméras RealSense - D455 et T265. Ces caméras aident à la détection de profondeur et au suivi des mouvements de l'utilisateur. L'ensemble du système est alimenté par un ordinateur portable que l'utilisateur porte dans un sac à dos.

Quand elle est utilisée comme aide à la navigation, la canne fournit des retours audio et haptiques pour aider les utilisateurs à se déplacer efficacement. En tant que dispositif de récupération, elle donne des instructions audio pour guider l'accès aux produits.

#Développement du Système

La conception du système prend en compte le coût, l'utilité et le potentiel d'élargissement des capacités. La canne robotisée avait pour but initial la navigation, mais le développement de ShelfHelp réutilise ses fonctionnalités pour l'assistance aux courses. Beaucoup de modèles précédents de dispositifs d'assistance ont des limitations en termes de fonctionnalités. Donc, c’est bénéfique d'utiliser la technologie existante pour créer un dispositif qui fournit une assistance vitale dans les environnements de shopping.

#Comment Fonctionne ShelfHelp

#Localisation de Produit

Le localisateur de produit fonctionne en deux étapes principales pour aider les utilisateurs à trouver les articles désirés sur une étagère. La première étape consiste à scanner l'étagère avec les caméras. Le système identifie les zones qui sont susceptibles de contenir le produit basé sur la vue de la caméra. Dans la deuxième étape, il compare ces zones avec une image du produit cible, permettant une identification précise.

Les utilisateurs n'ont besoin que d'une image du produit qu'ils recherchent. Cette image peut être prise quand le produit est acheté pour la première fois ou téléchargée depuis Internet. Le système peut fonctionner sans avoir besoin de se connecter à Internet, ce qui le rend pratique pour une utilisation dans le monde réel.

#Association de Données

Pour aider l'utilisateur à suivre les produits, le système utilise des techniques d'association de données. Ces techniques aident le logiciel à comprendre si un nouvel objet détecté est le même ou différent des objets détectés précédemment. Cette fonctionnalité est cruciale car des produits similaires peuvent souvent être situés proche les uns des autres. En gardant une carte persistante des emplacements des produits, le système peut donner des directions verbales précises basées sur la position de la main de l'utilisateur.

#Guidage de Planification

ShelfHelp fournit deux types de guidage verbal pour aider à atteindre le produit :

1. Guidage Continu : Cela donne des instructions en temps réel, comme "continue à droite" ou "arrête" jusqu'à ce que l'utilisateur soit aligné avec le produit.
2. Guidage Discret : Cela fournit des commandes claires comme "déplace-toi de 15 cm à droite."

Le mode de guidage peut s'adapter en fonction des retours et des préférences de l'utilisateur. Les recherches montrent que les utilisateurs malvoyants réagissent souvent bien aux unités de mesure spécifiques, rendant les commandes discrètes utiles.

#Études Pilotes

Les premiers tests de ShelfHelp ont impliqué des utilisateurs voyants aveugles qui agissaient comme des remplaçants pour des participants malvoyants. Cette approche aide à valider la technologie avant de s'engager avec les véritables utilisateurs cibles. Pendant les tests, les participants ont utilisé les deux méthodes de guidage en parallèle avec un guide humain fournissant de l'aide via un appel vidéo.

#Résultats de l'Étude Pilote

Le système a montré des promesses pendant les essais, guidant efficacement les utilisateurs vers les produits désirés. Le mode de guidage discret a particulièrement bien fonctionné, entraînant moins de commandes et moins de temps passé à récupérer les produits par rapport à un guidage continu ou à l'assistance humaine.

Les utilisateurs ont aussi été invités à noter à quel point le système semblait compétent et intelligent. Les deux modes de guidage ont reçu de bonnes notes dans ces domaines, bien qu'il y ait eu quelques nuances dans les retours. Les utilisateurs ont apprécié les affirmations fournies dans le guidage continu mais ont préféré les commandes spécifiques dans le mode discret.

#Directions Futures

Les résultats initiaux suggèrent que ShelfHelp peut améliorer l'expérience de shopping pour les personnes malvoyantes. À l'avenir, les développeurs prévoient d'incorporer des informations sémantiques en temps réel dans le système de localisation de produit. Cela améliorera l'identification des produits, surtout avec l'arrivée fréquente de nouveaux produits sur le marché.

D'autres tests avec de réels utilisateurs malvoyants sont nécessaires pour recueillir des retours complets afin de peaufiner à la fois les aspects matériels et logiciels du système. L'objectif est d'améliorer l'autonomie et d'assurer une meilleure expérience de shopping grâce à la technologie.

#Conclusion

ShelfHelp représente une avancée significative pour aider les personnes malvoyantes à faire leurs courses. En combinant une canne robotisée équipée de capacités de détection avancées et de systèmes de guidage, elle vise à améliorer la récupération des produits et à réduire la dépendance à l'assistance humaine. Cette innovation soutient non seulement l'autonomie des personnes malvoyantes mais répond aussi aux préoccupations de vie privée, conduisant finalement à une expérience de shopping plus positive.