Mejorando el seguimiento de manos en instrumentos musicales XR

El Seguimiento de manos es clave para interactuar de manera natural en entornos de Realidad Virtual (VR), especialmente cuando se trata de instrumentos musicales que existen en estos espacios. Sin embargo, hay un problema con el seguimiento de manos que surge cuando una parte de la mano bloquea a otra. Esto puede llevar a errores en el seguimiento de los movimientos de las manos, lo que afecta la experiencia.

Para solucionar este problema, estamos introduciendo un sistema que usa dos métodos para el seguimiento de manos: uno basado en visión y otro en la Actividad Muscular. Esta combinación debería ayudar a rastrear mejor los movimientos de los dedos. Probamos nuestro sistema con varias posturas de manos para cubrir diferentes gestos, especialmente aquellos que enfrentan problemas de bloqueo. Al comparar el rendimiento de nuestro sistema con un sistema estándar solo de visión, mostramos que puede mejorar significativamente la precisión del seguimiento para movimientos de dedos que suelen verse afectados por el auto-bloqueo.

#¿Qué es la Realidad Extendida?

La realidad extendida (XR) es un término que incluye realidad virtual (VR), realidad aumentada (AR) y realidad mixta (MR). Estas tecnologías se han vuelto más populares, lo que ha llevado al crecimiento de los instrumentos musicales de XR (XRMIs) como un nuevo campo de estudio. Los XRMIs permiten a los músicos interactuar con la música de maneras que los instrumentos tradicionales no permiten.

Los dispositivos XR, como los cascos, combinan mundos reales y virtuales. Pueden mostrar imágenes 3D sin necesidad de pantallas separadas. Esto abre oportunidades para que los músicos creen y realicen música de maneras únicas. Muchos XRMIs están diseñados para permitir a los usuarios interactuar a través de los movimientos de su cuerpo, haciendo que la creación musical se sienta más natural e inmersiva.

#¿Por qué es importante el seguimiento de manos?

Los instrumentos que existen en XR dependen en gran medida del seguimiento de manos para permitir que los músicos se expresen libremente. Muchos de estos dispositivos utilizan información visual y técnicas informáticas avanzadas para reconocer los movimientos de las manos. Dispositivos como el Oculus Quest 2 utilizan cámaras para obtener esta información. Aunque estos sistemas pueden ser precisos, no son perfectos, y el auto-bloqueo puede causar problemas.

Cuando partes de la mano cubren otras partes, puede llevar a errores de seguimiento. Esto puede resultar en fallos o retrasos en cómo la música responde a las acciones del músico. Tales errores pueden arruinar la experiencia para los usuarios. Para resolver esto, consideramos usar datos de electromiografía de superficie (SEMG), que mide las señales eléctricas que crean los músculos cuando se mueven. Al combinar esta información con los datos basados en visión, buscamos hacer que el seguimiento sea más confiable.

#Recopilando los Datos

Para nuestra investigación, utilizamos dos dispositivos: una banda de sEMG y un casco XR. La banda de sEMG mide la actividad muscular en el antebrazo, mientras que el casco XR rastrea las posiciones de las manos. Al usar ambos dispositivos juntos, podemos recopilar información detallada sobre los movimientos de los dedos y la actividad muscular sin necesidad de equipo adicional.

Recopilamos datos de una mano mientras realizábamos varios movimientos de dedos. Los gestos en los que nos enfocamos incluyeron abrir y cerrar los dedos individualmente y juntos a diferentes velocidades. La configuración nos permitió recopilar una cantidad significativa de datos sincronizados, lo cual es crucial para entrenar nuestro modelo.

#Extrayendo características de los datos

Después de recopilar los datos, necesitábamos procesarlos para extraer características útiles. Observamos diferentes aspectos de las señales de sEMG, tanto en el tiempo como en la frecuencia. Esto incluyó medir cosas como el valor promedio y la frecuencia con la que ocurren las señales. Al reunir estas características y analizarlas, buscamos crear una representación más detallada de los movimientos de las manos.

#Construyendo el Modelo

A continuación, construimos un modelo para predecir los movimientos de las articulaciones de los dedos basado en los datos recopilados. Nuestro modelo combina dos elementos importantes: uno que rastrea información basada en el tiempo (usando algo llamado redes LSTM) y otro que se enfoca en detalles más profundos proporcionados por las características que extrajimos. Este diseño nos ayuda a capturar tanto las tendencias generales de nuestros datos como los detalles específicos de las señales musculares.

Entrenamos nuestro modelo utilizando una gran cantidad de datos de las sesiones que realizamos. El objetivo era hacer que el modelo fuera lo suficientemente preciso como para estimar los ángulos de ocho articulaciones de los dedos, que son comúnmente afectados por el problema de auto-bloqueo.

#¿Cómo funciona el seguimiento multimodal?

Nuestro enfoque toma tanto los datos basados en visión como los de sEMG y los combina. El seguimiento basado en visión nos da una idea general de la posición de la mano, mientras que el modelo de sEMG proporciona información detallada sobre los movimientos de las articulaciones de los dedos. Esta combinación nos permite crear una representación completa de las acciones de la mano, lo cual es esencial para mejorar la precisión y la capacidad de respuesta.

Nuestro sistema funciona en tiempo real, lo que significa que los datos se pueden procesar rápidamente, permitiendo a los usuarios ver sus movimientos de manos reflejados en el espacio VR sin retrasos.

#Probando nuestro sistema

Para probar la efectividad de nuestro sistema, configuramos una serie de tareas que involucraban diferentes movimientos de dedos. Comparamos los datos de nuestro sistema multimodal con los de un sistema estándar solo de visión. También utilizamos un dispositivo de seguimiento preciso como referencia para evaluar la precisión de nuestros hallazgos.

Las condiciones experimentales se diseñaron para simular situaciones en las que la mano podría estar bloqueada a la vista. Registramos qué tan bien se desempeñó cada sistema bajo estas condiciones, observando específicamente la precisión de los ángulos de las articulaciones de los dedos.

#Resultados de la Prueba

Nuestros hallazgos mostraron que el sistema multimodal se desempeñó mejor que el sistema solo de visión, especialmente cuando la mano estaba parcialmente bloqueada. En promedio, el enfoque multimodal mejoró la precisión del seguimiento en 5 a 15 grados a través de los diferentes movimientos de los dedos.

Durante las pruebas donde la mano estaba completamente visible, el seguimiento basado en visión tuvo un mejor desempeño, lo cual era de esperarse ya que tenía una visibilidad clara de la mano. Sin embargo, el sistema multimodal demostró ser una mejor opción en situaciones donde partes de la mano estaban ocultas.

#Limitaciones y futuras investigaciones

A pesar de los resultados positivos, todavía hay algunas limitaciones. Las señales musculares pueden variar de persona a persona, influenciadas por diferentes factores como cuán cansada está una persona o dónde se colocan los electrodos. Por lo tanto, el sistema podría requerir algunos ajustes para que funcione eficazmente para diferentes usuarios.

La investigación futura explorará escenarios más complejos que involucran problemas de oclusión aún más extensos. Además, sería valioso probar este sistema con otros tipos de dispositivos y sensores XR, lo que podría ayudarnos a entender mejor su efectividad general.

También estamos interesados en cómo este nuevo sistema puede impactar la experiencia del usuario en aplicaciones del mundo real. Al realizar estudios que examinan qué tan bien los usuarios pueden completar tareas que requieren movimientos finos de las manos, podemos obtener información sobre cómo nuestro sistema puede mejorar las interacciones en entornos musicales virtuales.

#Conclusión

Combinar datos de sEMG con seguimiento basado en visión es un enfoque prometedor para abordar los problemas causados por el auto-bloqueo en el seguimiento de manos para instrumentos musicales XR. Nuestro sistema muestra que puede mejorar enormemente las experiencias de los usuarios al proporcionar un seguimiento de manos más preciso y confiable.

A medida que la tecnología VR avanza, integrar diferentes métodos de seguimiento probablemente será importante para crear interacciones más suaves y atractivas. Esta combinación de técnicas podría llevar a nuevas y emocionantes posibilidades para músicos y artistas que buscan explorar espacios de actuación virtuales.