Agarre Robótico: Un Nuevo Enfoque para el Deslizamiento

Cuando los robots manejan objetos, a veces esos objetos se resbalan y caen. Esto suele pasar cuando el robot no puede mantener un buen agarre debido a las rotaciones causadas por el deslizamiento. Para evitar esto, necesitamos recopilar información de Sensores táctiles que nos ayuden a entender las propiedades físicas del objeto que se está sosteniendo. Este artículo habla sobre un nuevo sistema diseñado para estimar cuánto rota un objeto cuando se desliza.

El sistema usa sensores especiales que pueden sentir el tacto, llamados sensores táctiles. Hemos creado un método que incluye una Red Neuronal para identificar dónde ocurre el contacto entre el sensor y el objeto. Junto a esto, se usa un algoritmo para calcular el ángulo en el que el objeto rota durante el deslizamiento.

Esta técnica trabaja específicamente con sensores táctiles DIGIT. Entrenamos nuestro sistema usando un conjunto de datos que pusimos a disposición del público. Este conjunto de datos incluye imágenes reales capturadas por los sensores, y es uno de los primeros de su tipo. Nuestros resultados muestran una confiabilidad de alrededor del 95% al 90% al observar qué tan bien se identifica la región de contacto en algunas situaciones desafiantes. Además, el máximo error que encontramos al probar estos sensores con nuevos objetos fue de solo unos pocos grados, lo que sugiere que nuestro sistema reacciona bien ante posibles Deslizamientos y puede ayudar a prevenir que los objetos caigan.

#Los Desafíos de la Manipulación Robótica

En tareas robóticas, los métodos tradicionales se basan principalmente en señales visuales para juzgar cómo agarrar y manipular objetos. Estos enfoques se centran en propiedades geométricas, como las formas y tamaños de los objetos. Sin embargo, a menudo pasan por alto aspectos físicos importantes como la distribución del peso, el centro de gravedad y la fricción. Si no se consideran estos factores, el objeto puede deslizarse y caer si no se sostiene correctamente.

Usar sensores táctiles puede proporcionar información valiosa sobre estas propiedades físicas, permitiendo que los robots ajusten su agarre según lo que sienten. Se han desarrollado varias tecnologías para lograr un sentido del tacto. Esto incluye sensores táctiles basados en electricidad que funcionan con diferentes principios, como métodos capacitivos o piezorresistivos. Nuestro estudio presta especial atención a estas lecturas táctiles.

El deslizamiento es un problema común cuando se manejan objetos. Puede suceder tanto a humanos como a robots. Por lo tanto, para ayudar a los robots a agarrar objetos de manera estable, es crucial recopilar y comprender información sobre el contacto entre el sensor y el objeto. Los sensores táctiles pueden identificar cuándo ocurre el deslizamiento, y los datos se pueden usar para ajustar las acciones del robot en consecuencia.

Estudios anteriores han utilizado lecturas táctiles para determinar si un objeto se está deslizando o no, así como para identificar el tipo de movimiento (como rotación o translación) que ocurre durante un episodio de deslizamiento. Algunos métodos miden el movimiento utilizando señales visuales combinadas con datos táctiles.

En esta investigación, presentamos un algoritmo que estima el ángulo de rotación de un objeto durante la manipulación cuando ocurre deslizamiento. Nos enfocamos en los sensores DIGIT, que registran información táctil como imágenes RGB simples sin datos adicionales de profundidad o fuerza.

#Nuestra Contribución

Nuestros principales logros en esta investigación son tres:

1. Desarrollamos una técnica de dos etapas que usa una combinación de aprendizaje profundo y visión por computadora tradicional para identificar regiones de contacto y estimar el ángulo de deslizamiento durante tareas de agarre y elevación.
2. Creamos y compartimos nuestro conjunto de datos para segmentación táctil, que contiene datos de sensores del mundo real. Esto tiene como objetivo minimizar la necesidad de etiquetado manual y mejorar la aplicación de métodos de aprendizaje en diferentes tipos de sensores.
3. Realizamos pruebas exhaustivas y comparamos varias redes neuronales de segmentación y algoritmos de visión por computadora para la segmentación táctil. Nuestro enfoque fue evaluado en comparación con otros métodos líderes para estimar ángulos de deslizamiento.

Las siguientes secciones proporcionarán un breve resumen del trabajo relacionado, una explicación detallada de nuestro método y la comparación de nuestros resultados con otras técnicas.

#Trabajo Relacionado sobre Estimación de Regiones de Contacto

Estimando con precisión el área de contacto entre los dedos de un robot y el objeto que está manejando es vital para una manipulación exitosa. Varios estudios han intentado determinar esta área de contacto utilizando diferentes enfoques. Algunos métodos implicaron detectar diferencias entre imágenes táctiles cuando se hace contacto y cuando no. Otros han empleado marcadores dentro de sensores táctiles basados en visión para identificar la región de contacto agrupando marcadores en movimiento.

Algunos investigadores han utilizado imágenes táctiles simuladas para entrenar modelos que reconocen áreas de contacto y reconstruyen las superficies de los objetos. Otros han aplicado técnicas fotométricas para abordar el mismo problema.

En nuestro trabajo, el proceso de segmentar áreas de contacto se basa en redes neuronales. Nuestro método es distinto porque utilizamos sensores DIGIT sin marcadores y nos enfocamos en datos reales en lugar de imágenes simuladas. Esto permite un mejor entrenamiento de nuestros algoritmos para gestionar geometrías de contacto que se encuentran en artículos domésticos típicos.

#Entendiendo el Deslizamiento y la Estimación de Rotación

El deslizamiento es un fenómeno típico durante la manipulación de objetos. Se han creado varios métodos para detectarlo y gestionarlo. Algunos aplican técnicas tradicionales de procesamiento de imágenes para identificar eventos de deslizamiento basados en imágenes táctiles. Otros han utilizado redes neuronales avanzadas para clasificar diferentes formas de deslizamiento analizando lecturas de presión.

Para este estudio, desarrollamos una estrategia de dos etapas para medir el ángulo de rotación causado por el deslizamiento durante tareas robóticas. Inicialmente, nuestro sistema captura una imagen táctil utilizando el sensor DIGIT. En la primera etapa, una red neuronal procesa esta imagen para identificar el área de contacto. Posteriormente, la segunda etapa aplica un algoritmo que estima el ángulo de rotación basado en la región de contacto identificada.

#Método Detallado

Nuestro método consta de dos etapas principales:

1. Red Neuronal de Segmentación Táctil (TSNN): Esta etapa toma una imagen RGB en bruto de un sensor DIGIT como entrada. La imagen se normaliza a un rango específico antes de ser enviada al modelo PSPNet, que segmenta la región de contacto. Después de la segmentación, se aplica un umbral para clasificar los píxeles como fondo o región de contacto.

2. Estimación de ángulo: La salida de la primera etapa se alimenta a esta etapa. Utilizamos un algoritmo de ajuste de elipse para limpiar la máscara de salida segmentada y extraer el eje principal. Este eje nos ayuda a calcular el ángulo de rotación ajustando una línea y aplicando algunas funciones matemáticas. Luego, se utiliza una ventana de filtrado para promediar los últimos ángulos y producir una estimación final de rotación.

Para garantizar la efectividad de nuestro método, comparamos nuestros resultados con diferentes arquitecturas de redes neuronales y técnicas de estimación de ángulo. Adaptamos otros modelos de segmentación y estimadores para este propósito, como DeepLabV3+ y Unet++ para segmentación, junto con Análisis de Componentes Principales (PCA) y Ajuste de Elipses para estimación de ángulo.

#Experimentación y Generación de Conjuntos de Datos

En nuestra experimentación, generamos nuestro conjunto de datos porque no había conjuntos de datos de segmentación táctil existentes que usaran imágenes reales de sensores DIGIT. Usamos un robot UR5e y un agarre 3F Robotiq para recopilar imágenes táctiles mientras manipulábamos varios objetos. Cada objeto se agarró en diferentes poses para crear un conjunto de datos rico.

Grabamos imágenes táctiles de 16 objetos diferentes, capturando entre 200 y 250 imágenes para cada uno. Los objetos que elegimos tenían varias propiedades, como tamaño, forma y textura, lo que nos permitió crear un conjunto de datos representativo para nuestros experimentos. Etiquetamos manualmente las áreas de contacto usando herramientas disponibles y realizamos validación cruzada para asegurar pruebas y entrenamiento confiables de nuestros modelos.

#Evaluación de Rendimiento

Para evaluar el rendimiento de nuestro enfoque, utilizamos métricas específicas para entender qué tan bien funcionan nuestros métodos de segmentación y estimación de ángulo. Realizamos pruebas con nuestros modelos y comparamos su efectividad con otros puntos de referencia en el campo.

Nuestros resultados mostraron que nuestro método consistentemente logró altas puntuaciones en las métricas que utilizamos. Se notó que la fase de prueba fue eficiente y confiable, confirmando que nuestro enfoque puede estimar ángulos de deslizamiento con una precisión notable.

#Resultados y Discusiones

Nuestros experimentos demostraron finalmente que nuestro método de dos etapas utilizando los algoritmos TSNN y Skeleton Thinning proporciona estimaciones confiables de ángulos de deslizamiento. La desconexión activa entre las formas de contacto segmentadas y las estimaciones de ángulo redujo los errores significativamente, especialmente en comparación con otros enfoques.

Descubrimos que al ajustar el tamaño de ventana para el proceso de filtrado, los tamaños de ventana más pequeños producían mejores resultados en términos de error rotacional. En particular, nuestro enfoque alcanzó un error rotacional medio absoluto de menos de 2 grados en los peores escenarios.

Además, notamos algunas limitaciones de nuestro método. Por ejemplo, cuando la región de contacto segmentada se asemejaba a un círculo, la estimación de ángulo se volvía poco confiable. También reconocimos que los objetos más complejos con formas variadas podrían introducir desafíos en la determinación precisa de ángulos de deslizamiento.

#Trabajo Futuro

Nuestra investigación sienta las bases para futuros avances en manipulaciones robóticas. Nuestro objetivo es abordar las limitaciones encontradas en nuestro trabajo actual refinando nuestros métodos para manejar mejor formas complejas y escenarios de múltiples contactos. Al hacerlo, esperamos mejorar la capacidad de los sistemas robóticos para manejar una diversidad de objetos de manera más confiable.

En resumen, este estudio muestra un enfoque novedoso y efectivo para estimar la rotación durante eventos de deslizamiento en tareas robóticas. Nuestro método, que integra la vista con el tacto, abre nuevas avenidas para mejorar la manipulación robótica y prevenir caídas de objetos en varias situaciones.