Reimaginando las instrucciones con realidad mixta

Las Instrucciones en papel son un recurso común para compartir conocimiento. Pero, a veces pueden ser difíciles de seguir porque no se conectan bien con las tareas físicas que la gente está haciendo. Esto puede complicar el aprendizaje de nuevas habilidades, sobre todo al usar electrodomésticos o herramientas. La Realidad Mixta (RM) ofrece una manera de mejorar esto al poner instrucciones digitales directamente en el espacio físico del usuario, haciéndolas más fáciles de seguir.

#El Problema con las Instrucciones en Papel

En la cocina o al usar máquinas, mucha gente depende de las instrucciones en papel. Aunque estos documentos dan información, a menudo no se relacionan bien con lo que se está haciendo en ese momento. Por ejemplo, al seguir una receta, los usuarios pueden tener que cambiar su atención entre un libro de cocina y el proceso de cocinar. Este cambio puede ser frustrante y consumir tiempo. Si las instrucciones no están cerca, es posible que los usuarios olviden detalles importantes, lo que lleva a errores.

#La Importancia del Contexto

La tecnología moderna ofrece nuevas posibilidades para mejorar cómo interactuamos con las instrucciones. Usando RM, las instrucciones digitales pueden colocarse en el lugar correcto en el campo de visión del usuario, permitiéndoles tener las manos libres para lo que están haciendo. La ventaja de este sistema radica en proporcionar orientación paso a paso que se alinea con lo que los usuarios están haciendo en tiempo real.

#Solución Propuesta

Proponemos un sistema que combina un pipeline de autoría y un pipeline de consumo. El objetivo es ayudar a transformar las instrucciones en papel en una experiencia de RM. Esto significa que los autores pueden crear instrucciones visuales que sean fáciles de seguir y relevantes para las tareas en cuestión.

#Pipeline de Autoría

El pipeline de autoría permite a los usuarios convertir rápidamente las instrucciones en papel existentes en experiencias de RM. Para hacer este proceso fluido, los autores pueden tomar una foto del documento de instrucciones. El software luego lee el texto y lo segmenta en pasos individuales. Cada paso puede asociarse con un objeto específico en el entorno, como un microondas o una licuadora.

Para ayudar con esto, un modelo de Aprendizaje automático puede sugerir el objeto más apropiado para cada instrucción. Esto acelera el proceso y facilita a los autores crear experiencias de RM útiles.

#Pipeline de Consumo

El pipeline de consumo está diseñado para que los usuarios interactúen con la experiencia de RM. Cuando los usuarios realizan tareas, las instrucciones relevantes se muestran en los lugares correctos. Por ejemplo, si un usuario necesita calentar algo en el microondas por un tiempo determinado, la instrucción aparecerá al lado del microondas.

Esta función reduce las distracciones y la necesidad de cambiar la atención entre diferentes cosas. Los usuarios también pueden mover las instrucciones si encuentran que su posición inicial no es óptima.

#Estudios con Usuarios

Para validar nuestras ideas, realizamos dos estudios separados.

#Estudio 1: Evaluando el Pipeline de Autoría

En el primer estudio, los participantes probaron las funciones de autoría. Experimentaron métodos manuales y apoyados por aprendizaje automático. Los comentarios mostraron que la mayoría de los participantes encontraron ambos métodos fáciles de usar. Aquellos que usaron el enfoque de aprendizaje automático reportaron completar tareas más rápido.

Los resultados indicaron que tener soporte de aprendizaje automático redujo el tiempo requerido para asignar objetos a las instrucciones. A los participantes les gustó cómo optimizó su trabajo al crear experiencias de RM.

#Estudio 2: Evaluando el Pipeline de Consumo

El segundo estudio se centró en cómo funcionó el pipeline de consumo durante las tareas. Los participantes recibieron tareas para completar mientras usaban la experiencia de RM y la compararon con un enfoque tradicional usando un documento en papel.

Los participantes encontraron que el sistema de RM les ayudó a mantener el enfoque en las tareas sin necesidad de mirar frecuentemente hacia otro lado. Reportaron menos estrés y confusión al completar sus actividades. Las instrucciones digitales les permitieron seguir los pasos sin la frustración de navegar por un documento físico.

#Beneficios de la Realidad Mixta para las Instrucciones

El uso de la tecnología de RM ofrece muchos beneficios, incluida la reducción del esfuerzo necesario para seguir instrucciones complejas. Los usuarios pueden mantenerse comprometidos en sus tareas mientras tienen acceso inmediato a información útil.

#Menos Cambio de Contexto

La experiencia de RM minimiza el esfuerzo de alternar entre leer instrucciones y realizar tareas. Los usuarios reportaron que las instrucciones presentadas en su línea de visión les facilitaron concentrarse en lo que estaban haciendo, proporcionando un flujo de trabajo más suave.

#Mejor Organización de la Información

Al entregar instrucciones en un formato segmentado, los usuarios tienen menos posibilidades de sentirse abrumados. En lugar de lidiar con una lista larga de pasos, solo ven la información relevante para la tarea actual. Esto conduce a una experiencia más manejable y menos estresante.

#Direcciones Futuras

Aunque nuestro sistema muestra potencial, hay áreas en las que mejorar aún más. Un enfoque clave debería ser permitir un proceso de autoría iterativo donde los autores puedan refinar sus instrucciones según el feedback en tiempo real.

#Más Datos Ricos

En futuras iteraciones, podría ser útil incluir detalles adicionales en los pasos de las instrucciones. Esto puede incluir indicaciones de tiempo, advertencias o consejos que mejoren la experiencia de aprendizaje. Modelos de lenguaje avanzados podrían ayudar a extraer estos datos más ricos de diversas fuentes.

#Cambio Automático de Paso

Otra área para mejorar es hacer que la transición entre pasos sea más fluida. En lugar de requerir que los usuarios hagan clic o pellizquen para pasar al siguiente paso, podríamos desarrollar un sistema que reconozca automáticamente cuándo un usuario está listo para avanzar.

#Conclusión

Este nuevo enfoque a las instrucciones usando Realidad Mixta ofrece un paso revolucionario en el aprendizaje y la ejecución de tareas. Al conectar contenido digital directamente con acciones del mundo real, los usuarios pueden alcanzar sus metas con menos frustración y una comprensión más clara de qué hacer. Nuestros estudios indican que el sistema es efectivo y fácil de usar, mostrando que la RM puede jugar un papel crítico en el diseño de instrucciones.

La mezcla de tecnología y tareas cotidianas a través de la Realidad Mixta tiene el potencial de generar experiencias de aprendizaje más efectivas y atractivas en varios entornos.