Abordando las discapacidades inducidas por situaciones con I/O humano

Las Discapacidades e Impedimentos Inducidos por Situaciones (SIIDs) pueden afectar mucho cómo la gente usa la tecnología en situaciones como mala iluminación, ruido fuerte o multitasking. Aunque existen algunos sistemas desarrollados para ayudar con esos problemas, normalmente se enfocan solo en tareas o entornos específicos, lo que los hace menos efectivos para la gran variedad de situaciones que las personas enfrentan.

Este documento presenta un nuevo método para detectar una variedad de SIIDs mirando cuán disponibles están los canales de entrada y salida de una persona. Usando vistas en primera persona desde cámaras y una mezcla de sensores, junto con modelos de lenguaje avanzados, logramos una baja tasa de error en predecir cuán disponibles están estos canales en muchas situaciones de la vida real. También realizamos un estudio con participantes que mostró que nuestro sistema puede reducir significativamente el esfuerzo y mejorar la experiencia del usuario cuando están presentes los SIIDs.

#Resumen del Problema

Todos enfrentamos Impedimentos e Discapacidades Inducidos por Situaciones (SIIDs) en algún momento. Estos impedimentos pueden venir de diferentes situaciones como ruido, mala iluminación, cambios de temperatura, estrés o expectativas sociales. Por ejemplo, alguien podría perder una llamada en un restaurante ruidoso o tener problemas para responder un mensaje de texto mientras lava los platos. Estos desafíos cotidianos pueden reducir temporalmente nuestras habilidades físicas, mentales o emocionales, lo que lleva a experiencias frustrantes.

Se han hecho investigaciones para crear sistemas que ayuden a lidiar con los SIIDs mejorando la conciencia del entorno para dispositivos móviles. La mayoría de los sistemas siguen un patrón de "sensar-modelar-adaptar", donde primero construyen un modelo para reconocer situaciones específicas que causan ciertos SIIDs y luego crean ajustes basados en ese contexto. Sin embargo, debido a la naturaleza dinámica de los SIIDs, es difícil escalar estas soluciones anteriores para adaptarse a los impedimentos cambiantes en tiempo real.

Por ejemplo, durante una rutina matutina típica, cuando alguien se está cepillando los dientes, podría tener problemas usando asistentes de voz. Al lavarse la cara, podría encontrar difícil leer mensajes urgentes. Además, si están usando un secador de pelo, podrían perder notificaciones audibles en su teléfono.

Si bien los sistemas anteriores han desarrollado soluciones para impedimentos específicos, crear métodos de detección individuales para todos los escenarios posibles no es práctico y limita su efectividad.

#Presentando Human I/O

En este documento, proponemos Human I/O, un enfoque nuevo que ve los SIIDs no como impedimentos que necesitan modelos de detección únicos, sino como problemas relacionados con la Disponibilidad limitada de los canales de entrada/salida de una persona. En lugar de crear modelos separados para diferentes actividades como lavarse la cara, cepillarse los dientes o usar un secador de pelo, Human I/O evalúa la disponibilidad de los canales de visión, audición y manos del usuario de una manera unificada.

Con el auge de los Modelos de Lenguaje Grande (LLMs), que pueden aprender y razonar con pocos ejemplos, vemos una oportunidad para introducir un solo marco que identifique SIIDs con una perspectiva más amplia. Este cambio permite la creación de un sistema flexible que puede adaptarse a medida que la tecnología se desarrolla. Aunque este documento se centra en la detección de SIIDs, anticipamos seguir adaptando el sistema en el futuro.

#Perspectivas del Estudio Formativo

Para refinar nuestra comprensión de los SIIDs, realizamos un estudio con 10 participantes para explorar cómo modelar estos impedimentos basándonos en la disponibilidad de los canales de entrada/salida. Los participantes destacaron la necesidad de sistemas que integren varios factores como actividades, entornos y señales de percepción directa para mejor predicciones.

Del estudio, desarrollamos una escala de cuatro niveles para categorizar la disponibilidad de los canales: disponible, ligeramente afectado, afectado y no disponible. Esta idea llevó al diseño de Human I/O, que detecta SIIDs en una amplia gama de actividades diarias.

#Componentes del Sistema

Human I/O consiste en tres componentes principales:

1. Una cámara y micrófono egocéntricos que capturan video y audio desde la perspectiva del usuario.
2. Un módulo de procesamiento que analiza los datos entrantes para generar descripciones sobre el contexto del usuario.
3. Un módulo de razonamiento que utiliza LLMs para predecir la disponibilidad de la visión, audición, vocalizaciones y manos del usuario.

El proceso comienza capturando el punto de vista en primera persona del usuario. Luego, modelos de análisis de visión computarizada y de audio convierten esos datos en descripciones textuales. Finalmente, los LLMs procesan estas descripciones para predecir cuán disponibles están los canales para la interacción.

#Evaluación de Human I/O

Para probar nuestro sistema, recopilamos datos de 300 clips tomados de 60 grabaciones de video egocéntricas del mundo real en 32 escenarios. Nuestros resultados mostraron que el sistema logra una baja media de error absoluto y una impresionante precisión promedio en la predicción de la disponibilidad de los canales.

El sistema se puso a prueba en entornos prácticos con 10 participantes experimentando diferentes escenarios mientras usaban Human I/O. Los participantes encontraron que tener el sistema en marcha disminuyó significativamente sus demandas mentales, físicas y temporales, mejorando su experiencia general como usuarios.

#Trabajo Relacionado

Esta investigación se basa en estudios previos en conciencia situacional, vistas egocéntricas y LLMs. Los investigadores han creado varios sistemas para mejorar las interacciones móviles para usuarios enfrentando SIIDs, pero la mayoría se han enfocado en contextos limitados. Nuestro enfoque tiene como objetivo una solución más amplia.

#Concepto de Visión Egocéntrica

Usar una cámara portátil para datos visuales en primera persona existe desde los años 70. Con el tiempo, las aplicaciones para cámaras portátiles han crecido, especialmente en proyectos relacionados con la salud. Los sistemas recientes han avanzado hacia la integración de tecnología avanzada para mejorar la experiencia del usuario basada en interacciones directas.

En este trabajo, nos enfocamos en usar la visión egocéntrica para cubrir una amplia gama de SIIDs. Esta elección permite una mejor detección de varios impedimentos.

#Modelos de Lenguaje Grande y Su Papel

Los avances recientes en LLMs los han hecho valiosos para tareas que requieren razonamiento y comprensión contextual. Estos modelos pueden manejar diferentes formas de aprendizaje y han encontrado aplicaciones en numerosas áreas, incluyendo la interacción humano-computadora.

Nuestro sistema aprovecha los LLMs para predecir la disponibilidad de los canales de entrada/salida humanos según el contexto detectado, haciéndolo adaptable y poderoso.

#Reconociendo los Canales de Entrada/Salida Humanos

Categorizar los canales de entrada/salida humanos en visión, audición y movimientos de manos nos ayuda a entender cómo estos canales contribuyen a una comunicación efectiva con la tecnología.

Basándonos en las ideas de estudios previos, creemos que evaluar la disponibilidad de estos canales ofrece un método más cohesivo para reconocer los SIIDs, y se alinea bien con los marcos existentes en interacción humano-computadora.

#Retroalimentación del Estudio Formativo

Para validar nuestras ideas, realizamos una sesión de lluvia de ideas remota con 10 participantes, buscando recopilar ideas sobre cómo modelar los SIIDs considerando la disponibilidad de los canales de entrada/salida. Los participantes identificaron muchas situaciones que podrían hacer que los canales no estén disponibles. Esta retroalimentación ayudó a moldear el diseño de Human I/O.

Clasificamos las situaciones en tres tipos: basadas en actividades, basadas en el entorno y basadas en el canal. Esta clasificación destaca la necesidad de sistemas que integren múltiples señales para mejorar predicciones.

#Niveles de Disponibilidad de Canales

De nuestras discusiones, descubrimos que las personas prefieren diferentes niveles de apoyo de los sistemas al lidiar con los SIIDs. Algunos usuarios pueden querer que los sistemas interfieran menos, mientras que otros podrían agradecer más asistencia. Esta comprensión nos llevó a desarrollar una escala de disponibilidad detallada de cuatro niveles.

• Disponible: Sin restricciones en absoluto.
• Ligeramente Afectado: Algo de compromiso con las tareas pero puede hacer multitasking fácilmente.
• Afectado: Inconveniente o dificultad notable usando el canal.
• No Disponible: El canal está completamente fuera de uso.

Esta escala permite a los sistemas alinearse mejor con las necesidades y preferencias de los usuarios.

#Construyendo el Sistema Human I/O

Siguiendo las ideas obtenidas del estudio formativo, creamos el sistema Human I/O. El sistema captura flujos de video y audio para analizar el contexto y predecir la disponibilidad de los canales.

También nos aseguramos de que el diseño sea lo suficientemente flexible para soportar varios dispositivos, facilitando que los usuarios y desarrolladores interactúen con el sistema.

#Proceso de Captura de Datos

Para la recolección de datos, usamos una cámara web y su micrófono incorporado para reunir video y audio en tiempo real. Visualizamos futuras iteraciones incorporando sensores avanzados dentro de gafas AR ligeras para un contexto más rico y capacidades mejoradas.

#Operaciones del Módulo de Procesamiento

El módulo de procesamiento analiza los datos de video y audio entrantes para determinar la situación actual del usuario. Combinamos tecnología de punta con razonamiento avanzado para generar información contextual rica.

#Razonando con Modelos de Lenguaje Grande

Para profundizar en la comprensión de las actividades y entornos de los usuarios, integramos LLMs que ayudan a predecir la disponibilidad de los canales. Empleando prompts estructurados y técnicas de razonamiento, nuestro enfoque permite mejorar las predicciones y la aplicabilidad en varios contextos.

#Evaluación Técnica del Rendimiento

En nuestra evaluación, notamos un rendimiento robusto del sistema Human I/O en diferentes situaciones de la vida real. Las tasas de precisión indican una fuerte correlación entre la disponibilidad de los canales predicha y la real.

#Perspectivas del Estudio del Usuario

Realizamos un estudio con usuarios para entender cómo las personas experimentaron Human I/O en escenarios en tiempo real. Los participantes informaron frecuentemente que el sistema redujo significativamente su estrés al manejar tareas diarias.

La retroalimentación indicó una fuerte preferencia por un sistema que ayuda a mantener el flujo de trabajo sin interrupciones, abriendo posibilidades para que los usuarios manejen tareas sin problemas.

#Direcciones Futuras

La investigación en curso buscará formas de mejorar la precisión y el alcance de Human I/O. Vemos potencial para refinar el sistema para acomodar mejor a los usuarios personalizando preferencias de adaptación y mejorando las experiencias generales del usuario.

#Consideraciones Éticas

A medida que avanzamos con la tecnología, las cuestiones éticas y la privacidad deben seguir siendo una prioridad. Necesitamos asegurarnos de que los sistemas que diseñamos no infrinjan la privacidad personal ni se basen en interpretaciones sesgadas de los datos.

#Resumen

En conclusión, hemos presentado una nueva forma de detectar SIIDs al centrarnos en la disponibilidad de los canales de entrada/salida humanos. Nuestros hallazgos y estudios de usuarios muestran promesas para mejorar la interacción y la experiencia del usuario en varias situaciones. Las ideas proporcionadas por Human I/O guiarán el trabajo futuro en el desarrollo de sistemas adaptables que respondan efectivamente a las necesidades de los usuarios en su vida diaria.