Simple Science

La science de pointe expliquée simplement

# Informatique# Interaction homme-machine

Améliorer l'accessibilité des applis pour les utilisateurs malvoyants

Notre modèle génère du texte d'indice pour améliorer l'accessibilité pour les utilisateurs malvoyants.

― 5 min lire


Texte d'index pour uneTexte d'index pour unemeilleure accessibilitémalvoyants.l'utilisation pour les utilisateursLe texte d'info automatique améliore
Table des matières

Les applis mobiles sont maintenant essentielles pour beaucoup de gens, offrant divers services comme le shopping, la banque et les interactions sociales. Cependant, elles oublient souvent les besoins des utilisateurs malvoyants. Ces utilisateurs comptent sur des lecteurs d'écran pour interagir avec les applis, mais beaucoup d'applis ne fournissent pas le texte d'indication nécessaire dans leurs Champs de saisie. Le texte d'indication, c'est des instructions brèves qui aident les utilisateurs à savoir quoi entrer dans les champs. Sans ça, les personnes malvoyantes galèrent à utiliser ces applis efficacement.

Le Problème du Texte d'Indication Manquant

Une enquête sur de nombreuses applis Android a révélé qu'une grande partie, plus de 76 %, manquent de texte d'indication dans leurs composants de saisie. Ce problème survient parce que les développeurs ne prennent souvent pas en compte les besoins d'Accessibilité des utilisateurs malvoyants lors de la conception de leurs applis. Les lecteurs d'écran lisent le texte d'indication pour aider les utilisateurs, rendant son absence un obstacle critique.

L'Importance du Texte d'Indication

Pour les utilisateurs aveugles, le texte d'indication est crucial car il donne des conseils sur les informations à entrer dans les champs de saisie. Ça facilite l'interaction en indiquant le but ou les exigences de chaque saisie. Sans texte d'indication approprié, les utilisateurs devinent souvent ce qu'ils doivent entrer, ce qui cause de la frustration et des erreurs.

Notre Solution pour Générer du Texte d'Indication

Pour résoudre ce problème, on a développé un modèle qui génère automatiquement du texte d'indication pour les champs de saisie dans les applis mobiles. Ce modèle utilise une combinaison d'informations de l'interface graphique de l'appli (GUI) et de techniques avancées de traitement du langage pour créer un texte d'indication significatif.

Comment le Modèle Fonctionne

  1. Extraction des Informations GUI : Le modèle commence par analyser la mise en page de l'appli et identifier les composants de saisie de texte avec leur environnement. Ça donne du contexte pour générer un texte d'indication pertinent.

  2. Apprentissage à Partir d'Exemples : Le modèle utilise des exemples de texte d'indication provenant d'applis existantes pour apprendre à générer un texte similaire qui correspond au contexte de nouveaux champs de saisie.

  3. Génération du Texte d'Indication : Une fois que le modèle a toutes les informations et exemples nécessaires, il génère un texte d'indication adapté au composant de saisie de texte spécifique.

  4. Mécanisme de Retour d'Information : Pour améliorer la précision, un système de retour d'information vérifie si le texte d'indication généré aide les utilisateurs à faire les bonnes saisies. Si ce n'est pas le cas, il ajuste le résultat pour fournir de meilleures indications.

Évaluation de l'Efficacité du Modèle

L'efficacité de notre modèle de génération de texte d'indication a été testée à travers une série d'expériences avec de vrais utilisateurs. Les retours ont montré que les utilisateurs trouvaient le texte d'indication généré utile pour remplir correctement des formulaires et naviguer dans les applis.

Design de l'Étude

Dans l'étude, des utilisateurs malvoyants ont testé des applis avec et sans le texte d'indication généré. Leur performance a été comparée selon :

  • Précision de Saisie : Combien de fois ils ont rempli les bonnes informations.

  • Couverture d'Activité : Le nombre de fonctions d'appli qu'ils ont pu explorer.

  • Temps Pris : À quelle vitesse ils pouvaient remplir les informations.

Résultats

Les utilisateurs qui avaient accès au texte d'indication généré ont montré des performances significativement meilleures que ceux qui n'en avaient pas. Ils ont rempli les bonnes saisies plus fréquemment, exploré plus de fonctionnalités d'appli et complété leurs tâches plus rapidement.

Expériences des Utilisateurs avec le Modèle

Les participants à l'étude ont partagé des retours positifs sur l'utilité du texte d'indication généré par notre modèle. Beaucoup ont souligné comment ça précisait les exigences de saisie, rendant la navigation dans l'appli plus facile et plus rapide.

Implications Plus Larges de Notre Travail

Les implications de ce travail vont au-delà de l'aide uniquement aux utilisateurs malvoyants. Avec les applis mobiles devenant de plus en plus complexes, une guidance claire via le texte d'indication peut améliorer l'utilisabilité pour tous les utilisateurs, y compris les personnes âgées et celles qui ne sont pas familières avec certaines fonctionnalités d'appli.

Directions Futures

Pour améliorer encore notre modèle et ses applications, on prévoit de :

  1. Améliorer l'Extraction de Contexte GUI : En améliorant la façon dont le modèle analyse la GUI, on peut générer un texte d'indication encore plus précis.

  2. Texte d'Indication Adaptatif en Temps Réel : Développer un système qui adapte le texte d'indication en fonction des interactions des utilisateurs rendra l'expérience encore plus conviviale.

  3. Expansion à D'autres Plateformes : Bien que ce projet se concentre sur les applis Android, les techniques peuvent potentiellement être appliquées aux applis iOS et web, élargissant l'impact.

Conclusion

En résumé, le manque de texte d'indication dans les applis mobiles pose une barrière significative pour les utilisateurs malvoyants. En développant un modèle de génération de texte d'indication automatisé, on a créé une solution pour améliorer l'accessibilité des applis, facilitant ainsi l'utilisation indépendante de la technologie mobile. Nos résultats montrent les avantages d'un texte d'indication clair et généré, qui non seulement aide ceux avec des déficiences visuelles mais améliore aussi l'utilisabilité globale pour tous les utilisateurs. Ce travail représente un pas vers des applications mobiles plus inclusives, soulignant le besoin de sensibilisation et d'action dans la communauté développement technologique pour s'assurer que tout le monde puisse bénéficier des avancées technologiques.

Source originale

Titre: Unblind Text Inputs: Predicting Hint-text of Text Input in Mobile Apps via LLM

Résumé: Mobile apps have become indispensable for accessing and participating in various environments, especially for low-vision users. Users with visual impairments can use screen readers to read the content of each screen and understand the content that needs to be operated. Screen readers need to read the hint-text attribute in the text input component to remind visually impaired users what to fill in. Unfortunately, based on our analysis of 4,501 Android apps with text inputs, over 0.76 of them are missing hint-text. These issues are mostly caused by developers' lack of awareness when considering visually impaired individuals. To overcome these challenges, we developed an LLM-based hint-text generation model called HintDroid, which analyzes the GUI information of input components and uses in-context learning to generate the hint-text. To ensure the quality of hint-text generation, we further designed a feedback-based inspection mechanism to further adjust hint-text. The automated experiments demonstrate the high BLEU and a user study further confirms its usefulness. HintDroid can not only help visually impaired individuals, but also help ordinary people understand the requirements of input components. HintDroid demo video: https://youtu.be/FWgfcctRbfI.

Auteurs: Zhe Liu, Chunyang Chen, Junjie Wang, Mengzhuo Chen, Boyu Wu, Yuekai Huang, Jun Hu, Qing Wang

Dernière mise à jour: 2024-04-03 00:00:00

Langue: English

Source URL: https://arxiv.org/abs/2404.02706

Source PDF: https://arxiv.org/pdf/2404.02706

Licence: https://creativecommons.org/publicdomain/zero/1.0/

Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.

Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.

Plus d'auteurs

Articles similaires