Avances en el reconocimiento de gestos bajo el agua

Reconocer gestos de la mano bajo el agua es clave para ayudar a los buzos y robots a comunicarse sin palabras. Esto es súper útil cuando se explora el océano con máquinas llamadas vehículos autónomos submarinos (AUVs). Recientemente, se ha creado una nueva forma para que los buzos se comuniquen usando gestos de la mano, llamada CADDIAN. Aunque hay maneras de reconocer estos gestos con precisión, tienen problemas cuando se enfrentan a gestos nuevos y no vistos en situaciones reales.

Para abordar este problema, se sugiere un nuevo enfoque llamado Reconocimiento de gestos submarinos sin entrenamiento previo (ZSUGR). El objetivo de ZSUGR es crear un sistema que pueda aprender a reconocer gestos que no ha visto antes usando conocimiento adquirido de gestos que ya ha visto. Este artículo explora los desafíos, métodos y resultados de esta nueva técnica de reconocimiento de gestos.

#Desafíos del Reconocimiento de Gestos Submarinos

El mundo submarino presenta desafíos únicos para el reconocimiento de imágenes. Las imágenes tomadas bajo el agua a menudo tienen bajo contraste, son borrosas y sus colores pueden verse raros. Esto hace que los sistemas tradicionales de reconocimiento de gestos tengan dificultades para analizar estas imágenes de manera efectiva. Además, la mayoría de los sistemas existentes están entrenados mediante métodos supervisados, lo que significa que necesitan muchos ejemplos etiquetados para aprender, limitando su capacidad para reconocer gestos que no han encontrado antes.

Por ejemplo, si un buzo hace una señal indicando bajos niveles de oxígeno, un sistema estándar entrenado solo en gestos específicos podría no entenderlo, creando un riesgo para el buzo.

#Aprendizaje Sin Entrenamiento Previos

El aprendizaje sin entrenamiento previos (ZSL) es un método que permite a los sistemas aprender sobre cosas nuevas sin necesidad de ver ejemplos primero. En vez de eso, ZSL utiliza información de conceptos o palabras relacionadas para ayudar a reconocer nuevos gestos. Este concepto es especialmente útil en entornos submarinos, donde recopilar imágenes de cada gesto posible es imposible.

Aunque se han hecho algunos intentos de implementar el reconocimiento de gestos sin entrenamiento previo, el reconocimiento de gestos submarinos sigue siendo un área poco explorada. El nuevo ZSUGR propuesto busca llenar este vacío.

#Nuevos Enfoques para el Reconocimiento de Gestos

Para manejar de manera efectiva el reconocimiento de gestos submarinos, se sugiere un nuevo marco de dos partes. La primera parte incluye un modelo especial que aprende representaciones visuales fuertes de los gestos. La segunda parte utiliza una red generativa adversarial (GAN) que puede crear características para gestos que aún no ha visto. Este sistema permite reconocer tanto gestos familiares como desconocidos, mejorando así la capacidad de comunicarse bajo el agua.

#Desarrollo del Modelo

La primera etapa del modelo implica un Transformador único que se enfoca en extraer características visuales significativas de imágenes de gestos ya vistos. Estas características se refinan aún más usando otro modelo llamado decodificador de gestos. Este transformador está diseñado especialmente para reconocer los desafíos únicos que presentan las imágenes submarinas.

En la segunda etapa, se entrena una GAN con las características visuales de gestos obtenidas de la primera etapa. Esta GAN aprende a imitar las características de gestos conocidos y genera características para gestos que no ha encontrado. Al combinar los datos de ambas clases, se puede entrenar un clasificador robusto para hacer predicciones precisas de gestos.

#Importancia de la Creación de Conjuntos de Datos

El éxito de los sistemas de reconocimiento de gestos depende en gran medida de la calidad y cantidad de datos utilizados para entrenarlos. En este estudio, se creó un conjunto de datos llamado CADDY, que consiste en imágenes submarinas de buzos realizando varios gestos. Este conjunto es particularmente valioso porque es uno de los conjuntos de datos de gestos submarinos más grandes disponibles públicamente, conteniendo una amplia variedad de tipos de gestos.

El conjunto de datos CADDY presenta algunos desafíos, ya que tiene muy pocos ejemplos para ciertos gestos. Para combatir este problema, se crearon nuevos grupos del conjunto de datos, categorizando los gestos en grupos vistos y no vistos para el entrenamiento y la evaluación del modelo. Esta designación aleatoria ayuda a eliminar sesgos que pueden ocurrir en divisiones fijas.

#Entrenamiento y Evaluación

El proceso de entrenamiento para el modelo propuesto consta de dos etapas principales. En la primera etapa, se utiliza un transformador para producir características visuales de gestos, que luego se alimentan a un clasificador. Este clasificador aprende de las características visuales para emparejarlas con las etiquetas de gestos correspondientes.

Durante las pruebas, el modelo extrae características visuales de imágenes submarinas usando el transformador entrenado y utiliza el clasificador para predecir la clase de gesto. El modelo se evalúa en clases vistas y no vistas para medir su efectividad. Se utilizan métricas clave como la precisión y la media armónica para evaluar el rendimiento.

#Resultados y Análisis de Desempeño

Se realizaron extensos experimentos para evaluar el rendimiento del sistema de reconocimiento de gestos propuesto. Los resultados indican que los modelos supervisados tradicionales tienen grandes dificultades al reconocer gestos no vistos. Por otro lado, el nuevo modelo ZSUGR demuestra un mejor desempeño y un enfoque más equilibrado para reconocer tanto gestos vistos como no vistos.

Al comparar el rendimiento, el nuevo modelo alcanzó una precisión media más alta que los métodos existentes. Esto resalta la efectividad del marco propuesto en dos etapas para enfrentar los desafíos que presenta el reconocimiento de gestos submarinos.

#Análisis de la Matriz de Confusión

Para visualizar mejor cómo se desempeña el modelo, se crean matrices de confusión. Estas matrices muestran las predicciones del modelo para cada tipo de gesto, revelando cuán a menudo confunde un gesto por otro. Los resultados indican que aunque algunos gestos se reconocen con alta precisión, otros pueden seguir siendo un desafío para el modelo.

#Impacto de las Características y la Arquitectura

El diseño de la arquitectura del modelo y la elección de características juegan un papel crucial en su éxito. El uso de la configuración del transformador y GAN ayuda a extraer características visuales más relevantes, permitiendo una clasificación de gestos más precisa. Además, examinar varias funciones de activación utilizadas dentro del modelo revela que ciertas elecciones conducen a un mejor desempeño.

#Conclusión y Direcciones Futuras

La introducción del reconocimiento de gestos submarinos sin entrenamiento previo es un paso importante para mejorar la comunicación entre buzos y vehículos autónomos. El marco propuesto en dos etapas ha mostrado promesas en el reconocimiento efectivo de gestos familiares y no vistos.

A medida que la investigación avanza, las direcciones futuras podrían incluir mejorar la comprensión semántica de los gestos y explorar diferentes métodos para la generación de datos. Dado que este es un nuevo campo de investigación, quedan muchas oportunidades para el avance, proporcionando una base sólida para futuras trabajos en el reconocimiento de gestos submarinos.

En general, los hallazgos destacan la necesidad de enfoques innovadores en visión por computadora, particularmente en entornos desafiantes como los submarinos, donde las posibilidades de exploración y comprensión son vastas.