Robots de patas avanzados con control de IA

Los robots con patas son máquinas diseñadas para caminar sobre piernas. Pueden moverse en diferentes tipos de lugares, como escalar cosas, arrastrarse debajo de obstáculos o girar en esquinas estrechas. Piensa en ellos como robots que pueden actuar un poco como animales, lo que los hace útiles en tareas como encontrar personas en áreas de desastre.

Sin embargo, estos robots enfrentan un gran desafío. Cuando se topan con obstáculos o situaciones inesperadas, sus Sistemas de Control deben ser lo suficientemente inteligentes como para tomar decisiones rápidas. Esto es complicado porque muchos robots actuales tienen dificultades para manejar nuevas situaciones sin mucha ayuda humana.

En esta charla, exploramos cómo podemos usar un tipo de inteligencia artificial conocida como Modelos de visión-lenguaje (VLMs) para ayudar a los robots con patas a moverse mejor en situaciones complicadas. El objetivo es hacer robots que puedan pensar y actuar más como humanos cuando se enfrentan a problemas en la vida real.

#El papel de los modelos de visión-lenguaje

Los modelos de visión-lenguaje son formas avanzadas de IA que pueden entender y conectar información visual con lenguaje. Por ejemplo, pueden tomar una foto de un objeto y describirlo en palabras o entender comandos dados en texto. Usando estos modelos, podemos ayudar a los robots a averiguar qué hacer según lo que ven.

Cuando un robot con patas trabaja en un entorno desordenado, como un edificio colapsado, necesita ser capaz de reconocer varios obstáculos a su alrededor. Con los VLMs, el robot puede usar lo que sabe sobre el mundo para decidir acciones, como intentar escalar sobre escombros o incluso buscar un camino diferente si el primer intento falla.

#El enfoque del Control Predictivo basado en Modelos de Visión-Lenguaje

Nuestro enfoque, llamado Control Predictivo basado en Modelos de Visión-Lenguaje (VLM-PC), combina dos ideas importantes para ayudar a los robots a actuar en tiempo real.

Primero, dejamos que el robot aprenda de experiencias pasadas. Cuando el robot se encuentra con diferentes situaciones, toma nota de cómo manejó situaciones similares antes. Esta memoria ayuda a mejorar las decisiones futuras.

Segundo, planificamos una serie de acciones con anticipación. En lugar de tomar decisiones un paso a la vez, el robot piensa en varios movimientos por adelantado. Este pensamiento a futuro le permite adaptarse si algo sale mal, como si el robot se queda atascado.

Usando estos métodos, nuestro objetivo es ayudar a los robots a navegar por entornos difíciles sin necesitar una guía constante de los humanos.

#Pruebas del Control Predictivo basado en Modelos de Visión-Lenguaje

Pusimos a prueba nuestro enfoque usando un robot cuadrúpedo Go1 en varios entornos desafiantes. Creamos circuitos de obstáculos que requerían que el robot navegara alrededor, sobre y debajo de cosas mientras trataba de alcanzar un objetivo, como un juguete.

Durante estas pruebas, medimos qué tan bien se desempeñó el robot. ¿Logró completar la tarea? ¿Cuánto tiempo tomó? Analizamos estas preguntas en diferentes circuitos de obstáculos para ver si nuestros métodos ayudaban al robot a actuar de manera más inteligente.

#Situaciones del mundo real para el robot

En situaciones de la vida real, como una misión de búsqueda y rescate, los robots con patas enfrentan muchos desafíos. Por ejemplo, al caminar a través de un edificio colapsado, el robot puede encontrarse con montones de escombros, espacios reducidos o callejones sin salida.

En estas situaciones, el robot debe decidir qué habilidad usar. Puede que necesite arrastrarse bajo algo, escalar sobre un bloque o intentar encontrar otra manera de hacerlo. Con el sistema adecuado, el robot puede elegir sus acciones basándose en lo que ha aprendido de encuentros anteriores.

#Escenarios de ejemplo

1. Entorno interior: El robot podría comenzar arrastrándose debajo de un sofá, darse cuenta de que no puede avanzar más y luego retroceder para encontrar otra ruta.

2. Entorno exterior: El robot puede enfrentarse a arbustos que tiene que rodear y luego escalar troncos pequeños antes de llegar al objetivo final.

3. Entornos mixtos: El robot puede necesitar navegar a través de una combinación de muebles interiores y obstáculos exteriores, requiriendo una mezcla de habilidades para alcanzar su meta.

Estos ejemplos ilustran las diversas situaciones que un robot con patas puede enfrentar y la importancia de tener un sistema de control flexible e inteligente.

#Importancia de las habilidades y la adaptación

Los robots deben tener una variedad de habilidades para manejar diferentes situaciones. Solo saber caminar, arrastrarse o escalar no es suficiente. Tienen que ser capaces de elegir inteligentemente entre estas habilidades según lo que ven y sus experiencias pasadas.

Por ejemplo, si el robot intenta escalar un objeto resbaladizo y falla, debería ser capaz de reconocer que necesita intentar un enfoque diferente en lugar de repetir la misma acción.

Para mejorar su capacidad de seleccionar la mejor acción, nuestro sistema observa tanto las experiencias anteriores como planifica múltiples movimientos por adelantado. Esto permite que el robot se adapte rápidamente cuando se enfrenta a obstáculos o desafíos.

#Configuración experimental y evaluación

Para ver si nuestros métodos funcionaban, utilizamos un robot cuadrúpedo Go1 con una cámara para capturar su entorno. El robot tenía un conjunto de habilidades básicas, y queríamos evaluar qué tan bien podía completar tareas en diferentes entornos.

Establecimos cinco entornos únicos llenos de varios desafíos, probando la capacidad del robot para adaptarse y completar tareas. Para cada entorno, medimos cuánto tiempo tomó terminar y la tasa de éxito.

#Resultados de los experimentos

Al evaluar el desempeño del robot en diferentes tareas, encontramos resultados notables:

1. Tasa de éxito: Nuestro enfoque permitió que el robot completara tareas más a menudo que otros métodos. Mostró una mejora clara respecto a aquellos que no usaron el sistema VLM-PC.

2. Eficiencia de tiempo: El tiempo que tomó para terminar las tareas también fue menor al usar nuestro método. Esto indicó que el robot estaba navegando por los entornos de manera más efectiva.

3. Adaptabilidad: La combinación de recordar experiencias pasadas y planificar ayudó al robot a tomar decisiones más inteligentes, lo que llevó a una mayor tasa de éxito y tiempos de finalización más rápidos.

En general, nuestros hallazgos sugieren que el enfoque VLM-PC mejora significativamente la capacidad de un robot para adaptarse a nuevos y complejos entornos.

#La importancia del contexto y la historia

Además de usar VLMs, notamos que proporcionar contexto e información histórica fue crucial para el éxito del robot. Al permitir que el modelo entendiera lo que había hecho antes, el robot podía tomar mejores decisiones.

Cuando tuvo que enfrentar obstáculos, recordar cómo habían resultado sus acciones anteriores le dio información valiosa. Así, el robot pudo planificar los siguientes pasos de manera más inteligente y evitar repetir errores.

#Contexto extendido con aprendizaje en contexto

Exploramos la idea de proporcionar aún más contexto incluyendo ejemplos adicionales en los prompts del VLM. Al mostrar al robot imágenes desde diferentes ángulos con etiquetas adjuntas, podía obtener un contexto que ayudaría a actuar de manera más efectiva.

Esta capa adicional de información resultó beneficiosa, llevando a tasas de finalización de tareas aún mejores en algunos de los entornos. Resaltó la importancia del contexto y del tipo de información que un robot recibe al tomar decisiones.

#El futuro de los robots con patas

Aunque nuestros métodos muestran promesas, todavía hay mucho por explorar en el aprovechamiento del potencial completo de los VLMs para robots con patas. A medida que la tecnología mejora, las capacidades de estos modelos crecerán, permitiendo un razonamiento y toma de decisiones aún mejores.

Por ejemplo, mejorar la comprensión de un robot sobre los aspectos únicos de su movimiento podría llevar a adaptaciones más eficientes a su entorno. Combinar la planificación de alto nivel para la locomoción con tareas de manipulación permitiría que los robots abordaran una mayor variedad de objetivos.

#Conclusión

En conclusión, los robots con patas equipados con sistemas inteligentes como el Control Predictivo basado en Modelos de Visión-Lenguaje pueden navegar por entornos desafiantes de manera más efectiva. Al permitir que los robots aprendan de experiencias pasadas y planifiquen múltiples pasos por adelantado, pueden adaptarse rápidamente a nuevas situaciones sin necesidad de ayuda humana.

Estos avances abren posibilidades emocionantes para el futuro de las aplicaciones robóticas, particularmente en áreas críticas como la búsqueda y rescate, donde los robots pueden mejorar los esfuerzos humanos y lograr tareas que podrían ser demasiado peligrosas o difíciles para las personas solas.

A medida que seguimos desarrollando estas tecnologías, el potencial de que los robots nos ayuden en la vida cotidiana se vuelve cada vez más realista. El camino hacia robots con patas totalmente autónomos está en curso, y estamos aprendiendo constantemente cómo mejorar estas máquinas para aplicaciones del mundo real.