Simple Science

La science de pointe expliquée simplement

# Informatique# Interaction homme-machine# Vision par ordinateur et reconnaissance des formes

Nouvelle appli AR aide les personnes avec des déficiences de vision des couleurs

Une appli innovante aide les utilisateurs à reconnaître et nommer les couleurs facilement.

― 9 min lire


Application AR pour lesApplication AR pour lesdaltoniensde reconnaissance des couleurs.Une solution smartphone pour les défis
Table des matières

La Déficience de la vision des couleurs (DVC) touche beaucoup de gens dans le monde, limitant leur capacité à voir et nommer différentes couleurs. Ça peut rendre les tâches quotidiennes difficiles, comme choisir des vêtements ou lire des étiquettes. Dans cet article, on parle d'une nouvelle façon d'aider les personnes avec DVC à reconnaître et nommer les couleurs grâce à une application de Réalité Augmentée (RA) développée pour les smartphones.

C'est quoi la déficience de la vision des couleurs ?

La déficience de la vision des couleurs désigne un ensemble de conditions où les gens ont du mal à distinguer certaines couleurs. Les types les plus courants sont le daltonisme rouge-vert, qui affecte les gens différemment selon le type qu'ils ont. Par exemple, quelqu'un avec une protanopie ne voit pas les couleurs rouges, tandis qu'une personne avec une deutéranopie a du mal à différencier les rouges et les verts.

Environ 13 millions de personnes aux États-Unis ont une forme de DVC, et 350 millions de personnes dans le monde sont touchées aussi. Cette condition peut entraîner des difficultés dans la vie quotidienne, allant des opportunités d'emploi limitées aux problèmes dans les situations sociales. Pour les étudiants avec DVC, beaucoup rapportent que ça affecte leur confiance à l'école, les faisant se sentir mis de côté ou plus lents à apprendre.

Le problème avec la reconnaissance des couleurs

Les couleurs sont souvent nommées en se basant sur un système de vision trichromatique (trois couleurs). Ça veut dire que la vision des couleurs normale repose sur trois types de cellules coniques dans l'œil qui détectent différentes longueurs d'onde de lumière correspondant au rouge, vert et bleu. Cependant, ceux avec DVC voient les couleurs différemment parce qu'ils peuvent manquer un ou plusieurs types de ces cellules coniques, résultant en une compréhension bidimensionnelle de la couleur.

Par exemple, un objet rouge peut sembler identique à un objet vert pour quelqu'un avec un daltonisme rouge-vert. Ça rend difficile de nommer les couleurs avec précision quand ils ne peuvent pas les distinguer visuellement. Dans de nombreux cas, des couleurs qui sont distinctes pour quelqu'un avec une vision normale des couleurs peuvent sembler identiques à quelqu'un avec DVC, menant à la confusion.

Notre approche : Réalité augmentée pour la reconnaissance des couleurs

Pour aider les personnes avec DVC à reconnaître et nommer les couleurs avec précision, on a développé une application de RA qui utilise la technologie des smartphones. L'appli fonctionne en permettant aux utilisateurs d'interagir avec les couleurs de façon dynamique, offrant une façon plus efficace de les différencier. Les utilisateurs peuvent faire glisser leurs doigts sur les écrans de leurs smartphones pour induire des changements de couleur, créant des variations visuelles distinctes dans des couleurs qui, autrement, seraient déroutantes.

Comment ça fonctionne

L'appli améliore la capacité des utilisateurs à travailler avec les couleurs en introduisant une troisième dimension à leur perception des couleurs. Normalement, les individus avec DVC perçoivent les couleurs dans un espace bidimensionnel. En utilisant l'application, les changements de couleur fournissent des informations supplémentaires qui aident à convertir leur compréhension bidimensionnelle des couleurs en une perspective tridimensionnelle.

Quand les utilisateurs glissent sur l'appli, ils créent une transformation qui altère les couleurs en temps réel. À mesure que les couleurs changent, ils peuvent apprendre à les distinguer en fonction des motifs de changement. Par exemple, des couleurs initialement déroutantes peuvent commencer à sembler différentes lorsqu'on les fait glisser, permettant aux utilisateurs d'apprendre les noms des couleurs en fonction de leurs caractéristiques visuelles changeantes.

Utiliser l'appli

Pour commencer, les utilisateurs ont juste besoin de prendre une photo de la scène qu'ils regardent, ce qui peut inclure des objets ou des œuvres d'art. En glissant sur l'écran, les couleurs vont changer. L'application permet aux utilisateurs de voir comment les couleurs se déplacent et d'apprendre quels noms correspondent à quelles nuances. En passant du temps à interagir avec l'appli et à observer comment les couleurs sont affectées par leurs gestes, les utilisateurs commencent à bâtir une meilleure compréhension des couleurs.

Tester l'efficacité de l'appli

Pour s'assurer que l'appli fonctionne bien, on a fait plusieurs tests avec des individus ayant DVC. Notre objectif principal était de savoir si l'appli pouvait aider les utilisateurs à mieux reconnaître les couleurs qu'avant.

Expériences psychophysiques

Lors de la première série de tests, on a analysé à quel point les utilisateurs pouvaient discriminer les couleurs en utilisant l'appli par rapport à quand ils n'avaient pas accès. Pendant les expériences, les participants devaient distinguer des couleurs en utilisant un format de choix forcé à quatre alternatives. Ils se voyaient présenter différents patchs colorés et devaient identifier celui qui était différent des autres.

Les résultats ont montré que les participants utilisant l'appli ont pu réduire leurs seuils de discrimination, ce qui veut dire qu'ils pouvaient plus facilement différencier deux couleurs confondantes grâce aux changements induits. Pour de nombreuses couleurs, les participants ont rapporté une performance nettement meilleure en utilisant l'appli.

Étude longitudinale

Ensuite, on a mené une étude longitudinale sur neuf jours, où on a laissé un groupe plus petit de participants explorer les fonctionnalités de l'appli sur plusieurs sessions. Pendant les premiers jours, les utilisateurs ont été formés pour apprendre comment différents changements de couleur correspondaient à des noms de couleurs. Ils ont ensuite été testés sur leur capacité à reconnaître de nouvelles couleurs qu'ils n'avaient pas spécifiquement entraînées.

Au fil des jours suivants, les participants ont montré une capacité impressionnante à reconnaître de nouvelles couleurs, bien au-dessus du niveau de chance. Cela indiquait qu'ils apprenaient à associer les motifs de changement de couleur avec les noms de manière efficace. À la fin de la formation, tous les participants pouvaient nommer correctement les couleurs basées sur leur travail avec l'appli.

Applications dans le monde réel

On a exploré deux tâches pratiques pour voir comment les utilisateurs pouvaient appliquer leurs nouvelles compétences de reconnaissance des couleurs dans des situations réelles.

Construire avec des briques Lego

Une application impliquait des participants qui grouper des briques Lego par couleur. Ils avaient pour tâche d'identifier et de sélectionner des briques pour un projet de construction. On a laissé les participants essayer cette tâche à la fois avec et sans l'appli. Tous les utilisateurs qui avaient du mal à nommer les couleurs sans l'appli ont pu compléter la tâche avec, tandis que d'autres qui trouvaient facile de nommer les couleurs sans assistance ont utilisé l'appli pour un appariement plus précis.

Interpréter des œuvres d'art

Dans un autre scénario, les participants ont regardé des œuvres d'art générées par IA et ont décrit les couleurs qu'ils voyaient. Sans l'appli, ils identifiaient souvent mal les couleurs. Cependant, après avoir utilisé l'appli, ils ont pu reconnaître différentes couleurs et mieux articuler leurs observations. Les utilisateurs ont noté que l'appli les aidait à faire des liens entre les couleurs changeantes et leurs noms.

Retours des participants

Les participants dans les deux scénarios ont donné des retours positifs sur leurs expériences avec l'appli. Ils l'ont trouvée facile à utiliser et ont rapporté que leur reconnaissance des couleurs s'était considérablement améliorée. Beaucoup ont souligné comment la capacité de voir les couleurs changer dynamiquement avait amélioré leur compréhension et leur confiance dans la nomination des couleurs.

Directions futures

Bien que notre recherche actuelle ait montré du succès pour aider les individus avec DVC à reconnaître les couleurs, il reste beaucoup à explorer dans ce domaine. On envisage d'améliorer l'appli en affinant l'expérience utilisateur, en élargissant les capacités de reconnaissance des couleurs et en évaluant comment efficacement l'appli peut être utilisée dans différents contextes.

Explorer différentes techniques

On pense qu'il existe des méthodes alternatives pour induire des Changements de couleurs au-delà de simples rotations dans l'espace colorimétrique. Les futures versions de l'appli pourraient incorporer différentes approches, comme l'ajustement de la saturation ou de la luminosité des couleurs. En explorant une gamme d'options, on espère améliorer l'efficacité globale de l'appli et mieux aider les utilisateurs à reconnaître les couleurs.

Portabilité sur d'autres appareils

Le potentiel d’implémenter l'appli sur des casques RA est aussi excitant. Cela permettrait des interactions mains libres, rendant plus facile pour les utilisateurs de s'engager avec leur environnement en temps réel tout en utilisant l'appli.

Offrir plus de guidance

Un autre domaine d'amélioration inclut l'offre de plus d'orientation d'apprentissage explicite aux utilisateurs. Une assistance personnalisée pourrait aider les utilisateurs à mieux comprendre les changements de couleurs qu'ils observent et rendre le processus d'apprentissage plus intuitif.

Conclusion

À travers notre application de RA, on vise à donner du pouvoir aux individus avec des déficiences de vision des couleurs en améliorant leur capacité à reconnaître et nommer les couleurs. En introduisant une approche interactive qui utilise des changements de couleurs en temps réel, on fournit aux utilisateurs un nouvel outil pour améliorer leurs compétences de reconnaissance des couleurs. Nos études ont montré que l'appli fait une réelle différence dans la vie des utilisateurs, les aidant à s'engager plus pleinement dans les activités quotidiennes impliquant la couleur. Alors qu'on continue à affiner l'appli et à explorer de nouvelles possibilités, on a hâte d'aider encore plus d'individus à naviguer dans le monde coloré qui les entoure.

Source originale

Titre: Computational Trichromacy Reconstruction: Empowering the Color-Vision Deficient to Recognize Colors Using Augmented Reality

Résumé: We propose an assistive technology that helps individuals with Color Vision Deficiencies (CVD) to recognize/name colors. A dichromat's color perception is a reduced two-dimensional (2D) subset of a normal trichromat's three dimensional color (3D) perception, leading to confusion when visual stimuli that appear identical to the dichromat are referred to by different color names. Using our proposed system, CVD individuals can interactively induce distinct perceptual changes to originally confusing colors via a computational color space transformation. By combining their original 2D precepts for colors with the discriminative changes, a three dimensional color space is reconstructed, where the dichromat can learn to resolve color name confusions and accurately recognize colors. Our system is implemented as an Augmented Reality (AR) interface on smartphones, where users interactively control the rotation through swipe gestures and observe the induced color shifts in the camera view or in a displayed image. Through psychophysical experiments and a longitudinal user study, we demonstrate that such rotational color shifts have discriminative power (initially confusing colors become distinct under rotation) and exhibit structured perceptual shifts dichromats can learn with modest training. The AR App is also evaluated in two real-world scenarios (building with lego blocks and interpreting artistic works); users all report positive experience in using the App to recognize object colors that they otherwise could not.

Auteurs: Yuhao Zhu, Ethan Chen, Colin Hascup, Yukang Yan, Gaurav Sharma

Dernière mise à jour: 2024-09-26 00:00:00

Langue: English

Source URL: https://arxiv.org/abs/2408.01895

Source PDF: https://arxiv.org/pdf/2408.01895

Licence: https://creativecommons.org/licenses/by-sa/4.0/

Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.

Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.

Plus d'auteurs

Articles similaires