Mejorando la estimación de guiñada de barcos usando drones y vehículos de superficie no tripulados

La estimación de Yaw es importante para entender cómo están orientados los barcos en el agua. Esto es útil en muchas áreas, como crear imágenes en 3D, predecir hacia dónde irá un barco y asegurar un movimiento seguro en entornos marinos. Sin embargo, no ha habido mucha investigación sobre cómo averiguar el yaw de los barcos usando Drones (UAVs) y vehículos de superficie (USVs). Este documento presenta un nuevo método que busca llenar ese vacío.

#¿Qué es la estimación de yaw?

El yaw es el término que se usa para describir cómo un barco gira alrededor de su eje vertical. Cuando miras un barco desde arriba, el yaw ayuda a determinar hacia dónde apunta la parte delantera del barco. Conocer esta información es clave para tareas como evitar colisiones, operaciones de rescate y monitoreo de barcos en el agua. Queremos que nuestras predicciones de yaw sean precisas, especialmente para aplicaciones como la realidad aumentada, donde ayudan a los operadores humanos a tomar mejores decisiones.

#Métodos actuales y sus limitaciones

Tradicionalmente, los datos de sistemas como el AIS (Sistema de Identificación Automática) ayudan a localizar barcos, pero muchos barcos más pequeños no envían estos datos. El radar puede ayudar, pero es caro y a menudo solo proporciona posiciones aproximadas. Analizar imágenes de los barcos puede ser una forma más directa y rentable de predecir su Orientación.

Desafortunadamente, la mayoría de los métodos existentes se centran en objetos cercanos, lo que los hace menos efectivos para barcos que están lejos y pueden no ser claramente visibles. Esto puede llevar a errores significativos en la predicción del yaw, especialmente porque los objetos distantes introducen incertidumbre que es difícil de contabilizar.

Ignorar el aspecto temporal de las predicciones también puede llevar a estimaciones de yaw incorrectas, especialmente cuando los barcos están en diferentes posiciones dentro de los fotogramas de video. Rastrear el movimiento a lo largo del tiempo ayuda a aliviar este problema.

#Método propuesto

Introducimos un método que utiliza una técnica conocida como HyperPosePDF para predecir la orientación de un barco en un espacio tridimensional. HyperPosePDF está diseñado para manejar bien la incertidumbre en las predicciones, lo cual es vital al estimar el yaw a partir de transmisiones de video.

Para entrenar nuestro método, utilizamos algunos conjuntos de datos existentes, como PASCAL3D+, y creamos otros nuevos: SeaDronesSee-3D y BOArienT. Ambos conjuntos de datos permitirán una evaluación precisa de nuestro método de estimación de yaw. Anotar manualmente los datos con información de orientación aumenta la precisión de las predicciones.

Nuestro método también aplica HyperPosePDF a datos de video. Al rastrear las distribuciones de probabilidad a lo largo del tiempo, podemos lograr resultados mucho mejores que solo haciendo predicciones de un solo punto. Esto ayuda a reducir errores causados por información visual no vista o diferente en cada fotograma de un video.

#Recolección y anotación de datos

Dada la falta de conjuntos de datos útiles para la estimación de yaw, recopilamos nuestros propios datos. Para los UAVs, utilizamos un conjunto de datos existente, SeaDronesSee-MOT, que contiene cuadros delimitadores de barcos y números de identificación. Añadimos información de pose en 6D, lo que nos permitió identificar la orientación de los barcos.

Para los USVs, recopilamos información usando una cámara fija montada en un pequeño barco a motor. Usando una cámara especial con sensores integrados, recopilamos los datos necesarios asegurándonos de poder localizar nuestra posición y orientación con precisión. Desarrollamos una herramienta amigable para ayudarnos a anotar las imágenes rápidamente según los objetos que identificamos.

Nuestro enfoque aceleró significativamente el proceso de anotación al permitir la selección fácil de objetos en las imágenes. Sin embargo, notamos algunos desafíos, especialmente cuando los objetos estaban lejos o cuando había bajo contraste en las imágenes.

#Agregando predicciones para mejores resultados

Nuestro método principal para estimar el yaw se basa en HyperPosePDF. Esto implica predecir una distribución de posibles orientaciones basadas en las imágenes de entrada. El proceso de entrenamiento se centra en maximizar la precisión de la predicción utilizando pares de imágenes de entrada y sus orientaciones reales.

Cuando se trató de análisis de video, encontramos que simplemente aplicar HyperPosePDF a los datos de video resultaba en predicciones únicas que a veces podían ser incorrectas. Para mejorar esto, agregamos predicciones a lo largo del tiempo, lo que ayuda a capturar incertidumbres en la estimación del yaw y conduce a mejores resultados.

Nuestros experimentos demuestran la efectividad de este método. Al rastrear las distribuciones de predicciones a lo largo del tiempo, podemos manejar mejor situaciones donde los barcos podrían estar moviéndose o girando.

#Probando nuestro enfoque

Para probar nuestro enfoque en un entorno del mundo real, implementamos un pipeline completo para detectar y rastrear objetos. Usamos un rastreador de objetos de última generación y aplicamos nuestro método de estimación de yaw a la salida del rastreador. Esta combinación nos proporcionó predicciones de yaw confiables.

En evaluaciones utilizando conjuntos de datos como SeaDronesSee3D y BOArienT, descubrimos que nuestro método ofrece mejor precisión que predicciones más simples de una sola imagen. El método funciona especialmente bien para capturar las incertidumbres de las estimaciones de yaw, lo que puede ayudar en aplicaciones posteriores como la predicción de trayectorias y la evitación de colisiones.

#Resultados

Nuestras pruebas muestran que el método propuesto ofrece buenas predicciones de yaw en comparación con enfoques tradicionales. Lo evaluamos cuidadosamente en varios benchmarks y encontramos que funcionó significativamente mejor que métodos de referencia. Además, comparamos con enfoques más simples basados en trayectorias, que a menudo tenían problemas con barcos estacionarios o de movimiento lento.

Nuestro método no solo predice el yaw con precisión sino que también ofrece resultados más confiables en escenarios desafiantes.

#Conclusión

En este estudio, presentamos un nuevo método para predecir el yaw de barcos usando datos de UAVs y USVs. Al utilizar HyperPosePDF, pudimos tener en cuenta las incertidumbres en las predicciones, lo que llevó a resultados más confiables. También creamos dos nuevos conjuntos de datos para ayudar en la evaluación de nuestro método y nos aseguramos de que estén disponibles públicamente para futuras investigaciones.

En general, nuestro enfoque tiene aplicaciones prometedoras en robótica marina, especialmente en áreas como la representación de escenas en 3D, la predicción de trayectorias y la navegación segura en el agua. A través de evaluaciones y mejoras continuas, esperamos mejorar nuestra comprensión de la estimación de yaw y su importancia en el entorno marino.