Gafas de VR asequibles para videollamadas realistas

Los cascos de realidad virtual (VR) se están utilizando cada vez más para reuniones y colaboración online. Pero estos cascos pueden cubrir la cara de una persona, lo que hace que las videollamadas sean un desafío. Las soluciones actuales muchas veces requieren equipos caros y no son muy accesibles. Este artículo presenta un nuevo sistema diseñado para ofrecer videollamadas realistas en cascos de VR económicos, centrándose en un método que usa la voz para crear un modelo 3D de la cara del usuario.

#El Desafío

Cuando la gente usa cascos de VR, la parte superior de su cara a menudo queda oculta. Esto presenta problemas en las videollamadas, donde las expresiones faciales y las señales visuales son esenciales para la comunicación efectiva. Las soluciones típicas incluyen el uso de avatares tipo caricatura o métodos de reconstrucción avanzados. Sin embargo, estos últimos suelen depender de hardware caro que la mayoría de las personas no puede pagar.

El objetivo de nuestro proyecto es ver si podemos crear una experiencia de videollamada realista en un casco de VR de bajo costo. Esto significa lidiar con dos problemas principales:

1. Cómo representar con precisión la parte inferior de la cara sin sensores costosos.
2. Cómo reducir cualquier retraso en el video, ya que la comunicación fluida es vital.

#Solución Propuesta

Para abordar el primer problema, decidimos usar la entrada de voz para crear los movimientos de la boca y la mandíbula, permitiéndonos construir una representación realista de cómo habla una persona. Esto significa que no necesitaremos equipo de alta gama para recopilar los datos necesarios para la reconstrucción facial.

Para el segundo problema, propusimos un método en dos pasos. Primero, predeciremos cómo se comportará una persona en los próximos momentos utilizando sus movimientos de voz y cabeza. Al preparar los fragmentos de video por adelantado basados en estas predicciones, podemos disminuir la sensación de retraso.

En segundo lugar, en lugar de generar el video de mejor calidad y luego ajustarlo cuando sea necesario, nuestro sistema mantendrá varios modelos en diferentes niveles de calidad. Elegirá el modelo adecuado según las condiciones actuales de la red, lo que garantiza la mejor salida de video posible sin causar retrasos.

#Descripción del Sistema

Este nuevo sistema consta de tres partes clave: un Predictor, un Generador y un Controlador.

#Predictor

El predictor está diseñado para adivinar las acciones futuras del usuario basándose en diferentes tipos de entrada, como movimientos de cabeza, voz y parpadeos. Combina estos datos para hacer predicciones precisas sobre lo que el usuario hará a continuación.

#Generador

El generador utiliza las predicciones realizadas por el predictor para animar la cara del usuario. Se basa en la entrada de voz, movimientos de cabeza y parpadeos. Este generador es único porque puede crear varios modelos de Calidad de video, lo que permite al sistema elegir adaptativamente el mejor para equilibrar calidad y velocidad.

#Controlador

El controlador ajusta qué modelo de generador usar en función de la calidad del video y el retraso. Mantiene un registro de los fragmentos de video almacenados en un buffer y decide qué calidad de video se adaptará mejor a las condiciones actuales para ofrecer una experiencia fluida.

#Cómo Funciona

Para empezar a usar el sistema, un usuario solo necesita tomarse una foto de su cara. Esta foto se usa para recopilar características como el tono de piel, la estructura facial y puntos clave que representan su rostro único. Este es un proceso de configuración que se hace una sola vez.

Durante una videollamada, el sistema recopila datos de voz, movimientos de cabeza y parpadeos para crear una animación facial en vivo. Los datos de voz se transforman en parámetros que representan las expresiones faciales del usuario. Estos parámetros se combinan luego con características clave para animar la cara de manera realista.

El controlador trabaja en segundo plano para seleccionar la mejor calidad de video según las condiciones actuales de la red del usuario. Esto significa que si la red es lenta, podría elegir un video de menor calidad para asegurarse de que la llamada no tenga retrasos.

#Estudio de Usuario y Retroalimentación

Para entender qué tan bien funciona el sistema, se realizó un estudio con 30 voluntarios divididos en parejas. Cada uno tuvo dos videollamadas: una usando un sistema tradicional y otra usando el nuevo sistema. La mayoría de los participantes les gustó la reconstrucción facial realista y sintieron que hacía que sus conversaciones fueran más interesantes. Notaron que las animaciones y las expresiones faciales parecían naturales y cercanas a las interacciones de la vida real.

Algunas personas señalaron que a veces las animaciones se veían exageradas o poco naturales. Sugerieron que mejorar cómo se traduce la voz en expresiones faciales podría aumentar el realismo, especialmente durante cambios emocionales rápidos.

En general, la mayoría de los participantes sintieron que el nuevo sistema ofrecía una mejor experiencia de videollamada en cascos de VR asequibles.

#Prediciendo Comportamientos del Usuario

Para evaluar qué tan bien funciona el predictor, se realizaron experimentos utilizando datos de movimiento de cabeza, parpadeo, voz y dirección de la mirada recopilados de los voluntarios durante las videollamadas. El predictor fue probado contra otros modelos, incluidos modelos LSTM y Transformer.

Los resultados mostraron que nuestro predictor superó a los otros en predecir el comportamiento del usuario. Podía anticipar acciones con precisión, permitiendo que el sistema preparara el video por anticipado.

#Generando Videos Realistas

La efectividad del generador de video se evaluó utilizando videos de cabeza hablando grabados. Al comparar los videos generados con la grabación real, se evaluaron el realismo y la calidad utilizando varios métodos.

El generador fue probado contra un sistema líder de cabeza hablando. Produjo videos de alta calidad que eran muy cercanos en realismo a los mejores sistemas disponibles. La capacidad del generador de utilizar la voz y los movimientos de cabeza contribuyó a una animación de expresiones faciales más precisa.

#Adaptando la Calidad del Video

Para probar el controlador, se realizaron simulaciones que modelaron diferentes condiciones de red. Los resultados mostraron que nuestro enfoque podía seleccionar la mejor calidad de video para la situación actual mientras minimizaba retrasos. El sistema funcionó mejor que los sistemas de calidad fija tradicionales, que a menudo conducían a interrupciones y mala calidad durante las videollamadas.

Cuando las condiciones de la red variaron, el controlador se adaptó para elegir un video de mayor calidad durante mejores condiciones de red y bajó la calidad cuando la red era más débil. Esta adaptabilidad asegura una experiencia fluida para el usuario durante toda la llamada.

#Conclusión

Los avances en este sistema significan un gran paso para la videoconferencia VR asequible. Al no necesitar equipo caro para un video de alta calidad, estamos abriendo puertas para que muchos usuarios disfruten de reuniones virtuales que se sienten tan reales como las conversaciones cara a cara.

Aunque los comentarios iniciales han sido positivos, hay áreas para mejorar. Algunos usuarios expresaron preocupaciones sobre el realismo de las animaciones, sugiriendo que enfocarse en refinar las respuestas a las entradas de voz podría llevar a mejores resultados.

También hay oportunidades para futuras exploraciones, como incorporar más métodos de entrada para capturar movimientos faciales sutiles y personalizar el sistema para adaptarse mejor a usuarios individuales.

Por último, debemos pensar en el lado ético de usar tal tecnología, asegurándonos de que no se use de manera engañosa y que los usuarios entiendan cómo se están usando sus semejanzas en un espacio virtual. Las discusiones regulares sobre el desarrollo responsable de estas tecnologías son vitales para equilibrar la innovación con la ética.

En general, este sistema tiene el potencial de mejorar significativamente la comunicación remota al proporcionar interacciones inmersivas y realistas, convirtiéndolo en una herramienta atractiva para una variedad de aplicaciones, desde el trabajo remoto hasta el aprendizaje online.