Creando imágenes sintéticas para robots más inteligentes

Los robots están cada vez más listos, y una parte clave de eso es cómo ven y entienden el mundo. Su capacidad para detectar objetos, entender dónde están y reconocer diferentes escenas les ayuda a hacer tareas como recoger cosas, ensamblar partes y moverse. Pero aquí está el truco: para hacer esto bien, los robots necesitan ser entrenados con imágenes de alta calidad.

Crear un programa de entrenamiento para estos robots usualmente significa recopilar montones de imágenes etiquetadas, lo cual no solo es aburrido; también puede llevar un montón de tiempo y dinero. Y lo peor, la gente a menudo comete errores al etiquetar. Además, encontrar suficiente variedad en estas imágenes para asegurarse de que el robot pueda manejar lo que la vida le arroje es súper complicado.

Aquí es donde entran las Imágenes sintéticas. En lugar de usar fotos del mundo real, podemos crear datos de imágenes usando simulaciones. Este método tiene grandes beneficios: podemos producir imágenes rápido, las etiquetas son siempre correctas, y podemos incluir una amplia gama de factores como diferentes luces, ruidos y ángulos de cámara sin rompernos la cabeza.

Sin embargo, hay un pequeño problema. A veces, los modelos entrenados con estas imágenes sintéticas no funcionan bien cuando se enfrentan a imágenes reales. ¡Pero no te preocupes! Gracias a mejores herramientas y técnicas como cambiar elementos al azar en las simulaciones, la brecha entre qué tan bien funcionan los robots con imágenes sintéticas versus reales se está cerrando. De hecho, algunos estudios han demostrado que los robots pueden desempeñarse igual de bien utilizando imágenes sintéticas para ciertas tareas.

Teniendo esto en mente, estamos proponiendo un nuevo sistema que explica cómo crear imágenes sintéticas para robots de manera eficiente. Nuestro marco utiliza imágenes del mundo real de los objetos que queremos que los robots aprendan, las convierte en modelos 3D, y luego genera imágenes etiquetadas listas para el entrenamiento. Es como hacer una pizza: cada ingrediente se puede cambiar por algo mejor a medida que aparecen nuevas herramientas.

#Recopilando Datos del mundo real

Antes de que podamos hacer imágenes sintéticas, necesitamos buenos datos del mundo real. Esto significa que queremos capturar imágenes de objetos con posiciones precisas. Algunos algoritmos inteligentes pueden averiguar las posiciones de la cámara a partir de imágenes que no están etiquetadas, pero conseguir esto bien puede ser complicado y llevar tiempo.

Para ayudar, hemos construido un setup especial que utiliza una mesa giratoria motorizada con cinco cámaras en diferentes ángulos. Una vez que comenzamos este proceso automatizado, toma unos cinco minutos obtener un escaneo completo de 360 grados de un objeto. Obtienes no solo imágenes normales, sino también imágenes de profundidad y nubes de puntos, todo con los datos de posición que necesitamos.

Actualmente, estamos utilizando esta configuración para capturar datos para probar las habilidades de los robots con piezas pequeñas. Las imágenes que salen de este proceso son esenciales para asegurarnos de que podamos crear buenos modelos 3D de objetos.

#Reconstrucción Digital de Objetos

Una vez que tenemos nuestros datos del mundo real, es momento de convertir esas imágenes en modelos 3D digitales. Esta parte puede complicarse un poco, especialmente con objetos que no tienen mucha textura o que tienen formas simétricas. Si los colores son demasiado brillantes o transparentes, puede hacer las cosas aún más difíciles.

Hay varias formas de crear modelos 3D a partir de imágenes. Uno de los métodos más comunes se llama Fotogrametría, que utiliza múltiples imágenes para averiguar dónde está todo. Otra opción es usar escáneres 3D portátiles, aunque estos pueden tener problemas con objetos brillantes o transparentes.

Un nuevo método llamado Campos de Radiancia Neural (NeRFs) ha llegado para ayudar. Ayuda a crear nuevas vistas de escenas complejas a partir de solo unas pocas imágenes. Los NeRFs son más fáciles de usar que los métodos tradicionales y pueden capturar detalles y texturas bien. Otra técnica emocionante llamada Splatting Gaussiano 3D (3D GS) funciona de manera similar pero es aún más rápida y permite mejor edición de escenas.

Después de crear el Modelo 3D, necesitamos asegurarnos de que todo esté guardado correctamente. Queremos asegurarnos de que todas las partes del objeto estén incluidas, y que no se llenen huecos con cosas imaginarias. Si un modelo no representa con precisión el objeto, podría causar problemas cuando el robot intente aprender de él.

#Generando Conjuntos de Datos Sintéticos

Ahora que tenemos nuestros modelos 3D, necesitamos crear los conjuntos de datos sintéticos. Hay muchas herramientas que ayudan a generar estas imágenes, y están mejorando cada día. Las herramientas más avanzadas de hoy pueden simular entornos realistas y mezclar la física de manera precisa en las imágenes. Los investigadores han dividido estas herramientas en cuatro categorías según cómo crean las imágenes. Las mejores suelen ser las que crean modelos 3D o usan motores de juego.

Algunas de las principales herramientas incluyen BlenderProc y Unity Perception. Estas nos permiten personalizar varios aspectos de las imágenes, como fondos, iluminación y posiciones de objetos. Introducir aleatoriedad en estos elementos es esencial para ayudar a los robots a adaptarse mejor cuando finalmente vean objetos del mundo real.

Curiosamente, algunas investigaciones han demostrado que los NeRFs también pueden usarse directamente para crear datos de entrenamiento. Funcionan igual de bien que algunas otras herramientas de conjuntos de datos sintéticos. Cuando escribimos sobre cómo estamos generando los datos, necesitamos ser claros sobre qué cambios estamos haciendo durante el proceso y cómo podrían impactar el resultado final. También queremos compartir detalles sobre cosas como la calidad de la imagen y cómo están formateadas las etiquetas para estas imágenes.

#Juntándolo Todo

En resumen, estamos buscando establecer una forma simplificada de crear datos de imagen sintéticos de alta calidad para entrenar robots. Aprovechando la recopilación de datos del mundo real, técnicas inteligentes de reconstrucción digital y herramientas avanzadas de generación de imágenes sintéticas, nuestro objetivo es ayudar a los robots a ver mejor el mundo y desempeñarse de manera más efectiva en entornos tanto predecibles como complicados.

A medida que avancemos, es vital seguir probando y ajustando nuestros métodos. El objetivo es empoderar a los robots con las mejores herramientas posibles, permitiéndoles interactuar con el mundo de manera confiada y eficiente. Al igual que un perrito bien entrenado puede aprender un nuevo truco con facilidad, esperamos que nuestros robots puedan enfrentar cualquier desafío con un poco de ayuda sintética.