Mejorando la accesibilidad de la app para usuarios con discapacidad visual
Nuestro modelo genera texto de ayuda para mejorar la usabilidad para usuarios con discapacidad visual.
― 5 minilectura
Tabla de contenidos
- El Problema de la Falta de Texto de Pista
- La Importancia del Texto de Pista
- Nuestra Solución para Generar Texto de Pista
- Cómo Funciona el Modelo
- Evaluando la Efectividad del Modelo
- Diseño del Estudio
- Resultados
- Experiencias de los Usuarios con el Modelo
- Implicaciones Más Amplias de Nuestro Trabajo
- Direcciones Futuras
- Conclusión
- Fuente original
- Enlaces de referencia
Las apps móviles son ahora esenciales para muchas personas, ofreciendo varios servicios como compras, banca e interacción social. Sin embargo, a menudo pasan por alto las necesidades de los usuarios con discapacidad visual. Estos usuarios dependen de lectores de pantalla para interactuar con las apps, pero muchas no proporcionan el texto de pista necesario en sus Campos de entrada de texto. El texto de pista son instrucciones breves que ayudan a los usuarios a saber qué ingresar en los campos. Sin él, las personas con discapacidad visual tienen dificultades para usar estas apps de manera efectiva.
El Problema de la Falta de Texto de Pista
Una encuesta de muchas apps de Android reveló que una porción significativa, más del 76%, carece de texto de pista en los componentes de entrada de texto. Este problema surge porque los desarrolladores a menudo no consideran las necesidades de Accesibilidad de los usuarios con discapacidades visuales al diseñar sus apps. Los lectores de pantalla leen el texto de pista para ayudar a los usuarios, por lo que su ausencia es un obstáculo crítico.
La Importancia del Texto de Pista
Para los usuarios ciegos, el texto de pista es crucial ya que proporciona orientación sobre qué información debe ser ingresada en los campos de entrada. Facilita la interacción al indicar el propósito o requisitos de cada entrada. Sin el texto de pista adecuado, los usuarios a menudo tienen que adivinar qué ingresar, lo que lleva a frustración y errores.
Nuestra Solución para Generar Texto de Pista
Para abordar este problema, hemos desarrollado un modelo que genera automáticamente texto de pista para los campos de entrada de texto en las apps móviles. Este modelo utiliza una combinación de información de la interfaz gráfica de usuario (GUI) de la app y técnicas avanzadas de procesamiento de lenguaje para crear texto de pista significativo.
Cómo Funciona el Modelo
Extracción de Información de la GUI: El modelo comienza analizando el diseño de la app e identificando los componentes de entrada de texto junto con su entorno. Esto proporciona contexto para generar texto de pista relevante.
Aprendiendo de Ejemplos: El modelo utiliza ejemplos de texto de pista de apps existentes para aprender a generar texto similar que se ajuste al contexto de nuevos campos de entrada.
Generación de Texto de Pista: Una vez que el modelo tiene la información y ejemplos necesarios, genera texto de pista adaptado al componente específico de entrada de texto.
Mecanismo de retroalimentación: Para mejorar la precisión, un sistema de retroalimentación verifica si el texto de pista generado facilita las entradas correctas del usuario. Si no, ajusta la salida para proporcionar mejor orientación.
Evaluando la Efectividad del Modelo
La efectividad de nuestro modelo de generación de texto de pista fue probada a través de una serie de experimentos con usuarios reales. La retroalimentación mostró que los usuarios encontraron útil el texto de pista generado para completar formularios correctamente y navegar por las apps.
Diseño del Estudio
En el estudio, usuarios con discapacidad visual probaron apps con y sin el texto de pista generado. Su rendimiento fue comparado en base a:
Precisión de Entrada: Qué tan a menudo ingresaron la información correcta.
Cobertura de Actividades: El número de funciones de la app que pudieron explorar.
Tiempo Tomado: Qué tan rápido pudieron ingresar la información.
Resultados
Los usuarios que tuvieron acceso al texto de pista generado demostraron un rendimiento significativamente mejor que aquellos que no lo tuvieron. Ingresaron la información correcta con más frecuencia, exploraron más funciones de la app y completaron tareas en menos tiempo.
Experiencias de los Usuarios con el Modelo
Los participantes en el estudio compartieron comentarios positivos sobre la utilidad del texto de pista generado por nuestro modelo. Muchos destacaron cómo aclaró los requisitos de entrada, resultando en una navegación más fácil y rápida en las apps.
Implicaciones Más Amplias de Nuestro Trabajo
Las implicaciones de este trabajo van más allá de solo ayudar a los usuarios con discapacidad visual. Con las apps móviles volviéndose cada vez más complejas, una guía clara a través del texto de pista puede mejorar la usabilidad para todos los usuarios, incluidos los ancianos y aquellos que no están familiarizados con ciertas funciones de la app.
Direcciones Futuras
Para mejorar aún más nuestro modelo y sus aplicaciones, planeamos:
Mejorar la Extracción de Contexto de la GUI: Al mejorar cómo el modelo analiza la GUI, podemos generar texto de pista aún más preciso.
Texto de Pista Adaptativo en Tiempo Real: Desarrollar un sistema que adapte el texto de pista en función de las interacciones del usuario hará que la experiencia sea aún más amigable.
Expansión a Otras Plataformas: Aunque este proyecto se centra en apps de Android, las técnicas pueden aplicarse potencialmente a aplicaciones de iOS y web, ampliando el impacto.
Conclusión
En resumen, la falta de texto de pista en las apps móviles representa una barrera significativa para los usuarios con discapacidad visual. Al desarrollar un modelo de generación de texto de pista automatizado, hemos creado una solución para mejorar la accesibilidad de las apps, facilitando así el uso independiente de la tecnología móvil. Nuestros hallazgos muestran los beneficios de un texto de pista claro y generado, que no solo asiste a aquellos con discapacidades visuales, sino que también mejora la usabilidad general para todos los usuarios. El trabajo representa un paso hacia aplicaciones móviles más inclusivas, destacando la necesidad de conciencia y acción en la comunidad de desarrollo tecnológico para asegurar que todos puedan beneficiarse de los avances tecnológicos.
Título: Unblind Text Inputs: Predicting Hint-text of Text Input in Mobile Apps via LLM
Resumen: Mobile apps have become indispensable for accessing and participating in various environments, especially for low-vision users. Users with visual impairments can use screen readers to read the content of each screen and understand the content that needs to be operated. Screen readers need to read the hint-text attribute in the text input component to remind visually impaired users what to fill in. Unfortunately, based on our analysis of 4,501 Android apps with text inputs, over 0.76 of them are missing hint-text. These issues are mostly caused by developers' lack of awareness when considering visually impaired individuals. To overcome these challenges, we developed an LLM-based hint-text generation model called HintDroid, which analyzes the GUI information of input components and uses in-context learning to generate the hint-text. To ensure the quality of hint-text generation, we further designed a feedback-based inspection mechanism to further adjust hint-text. The automated experiments demonstrate the high BLEU and a user study further confirms its usefulness. HintDroid can not only help visually impaired individuals, but also help ordinary people understand the requirements of input components. HintDroid demo video: https://youtu.be/FWgfcctRbfI.
Autores: Zhe Liu, Chunyang Chen, Junjie Wang, Mengzhuo Chen, Boyu Wu, Yuekai Huang, Jun Hu, Qing Wang
Última actualización: 2024-04-03 00:00:00
Idioma: English
Fuente URL: https://arxiv.org/abs/2404.02706
Fuente PDF: https://arxiv.org/pdf/2404.02706
Licencia: https://creativecommons.org/publicdomain/zero/1.0/
Cambios: Este resumen se ha elaborado con la ayuda de AI y puede contener imprecisiones. Para obtener información precisa, consulte los documentos originales enlazados aquí.
Gracias a arxiv por el uso de su interoperabilidad de acceso abierto.