Avances en la interacción de lenguaje hablado con robots

Hablar con máquinas usando lenguaje natural se ha vuelto común. Ahora, esperamos interactuar con Robots al hablarles, no solo a través de texto. Este cambio abre posibilidades emocionantes sobre cómo podemos trabajar con máquinas en nuestra vida diaria. Este artículo analiza el aumento del diálogo hablado con robots y ofrece tres propuestas importantes sobre cómo mejorar la educación, crear estándares y modelar el lenguaje para estas interacciones.

#El Crecimiento del Procesamiento de Lenguaje Natural

La tecnología permite a las personas comunicarse con máquinas usando lenguaje natural. Este crecimiento está influenciado por los avances en Procesamiento de Lenguaje Natural (NLP), particularmente a través de modelos conocidos como transformers. Estos modelos, como ChatGPT, han pasado de ser herramientas de investigación a aplicaciones que la gente común puede usar, como redactar correos electrónicos o escribir informes. Pero los humanos hacemos más que solo escribir; a menudo nos comunicamos cara a cara. Actividades como cocinar, jardinería y construcción involucran interactuar con objetos físicos, los cuales los modelos de lenguaje grande pueden discutir en términos generales, pero pueden tener dificultades en situaciones específicas.

Los robots, por otro lado, están diseñados para trabajar en el mundo real. Ayudan con tareas en la cocina, la limpieza y más. Pueden realizar trabajos peligrosos e incluso brindar compañía a quienes se sienten solos. A medida que los robots asumen más roles que requieren entender el habla humana, la necesidad de una comunicación efectiva se vuelve esencial.

#La Comunidad SLIVAR

Se está formando un nuevo grupo llamado el Grupo de Interés Especial para la Interacción de Lenguaje Hablado con Agentes Virtuales y Robots (SLIVAR) para reunir varios campos: sistemas de diálogo hablado, robótica e Interacción humano-robot. El objetivo es empoderar a las personas para comunicarse con robots de la misma manera que comunicamos entre nosotros, usando lenguaje hablado natural. Este artículo resume las discusiones mantenidas en un taller sobre cómo avanzar en esta área y ofrece tres propuestas.

#Propuesta 1: Recursos Educativos

Para trabajar en los campos de la robótica, el NLP y la interacción humano-robot, los estudiantes necesitan una buena base educativa. Cada campo tiene su propio conjunto de habilidades, desde entender hardware hasta interacciones sociales. El camino de aprendizaje puede parecer abrumador porque cada área requiere profundidad.

Las necesidades educativas variarán según el enfoque del estudiante. Por ejemplo, alguien interesado en cómo el lenguaje se conecta con acciones se beneficiará de cursos en teorías semánticas y visión por computadora, mientras que otro estudiante enfocado en interacciones sociales podría priorizar entender las experiencias de los usuarios.

Para mejorar la educación, proponemos crear un recurso central para compartir materiales educativos. Este recurso permitiría a los educadores intercambiar contenido de cursos, incluyendo sílabos, diapositivas de conferencias, ejemplos de código y tareas. Mientras que muchas universidades ofrecen cursos básicos en temas relacionados, las áreas específicas de robótica y NLP podrían usar más recursos.

#Cursos Existentes

Algunos cursos existentes podrían ser útiles para las personas que quieren entrar en este campo. Cursos como Fundamentos de Lenguaje Natural, Hablando con Robots y Aprendizaje Automático Multimodal brindan marcos para aprender sobre la intersección de estas disciplinas. Plataformas educativas como GoPiGo y DuckieTown también ofrecen recursos.

#Cursos Sugeridos

Sugerimos una secuencia de cursos que prepararían a los estudiantes para la investigación en robótica y procesamiento de lenguaje. Esto podría incluir cursos sobre:

• Álgebra Lineal
• Probabilidades y Teoría de la Información
• Fundamentos de Ciencia de la Computación
• Estructuras de Datos
• Aprendizaje Automático
• Interacción Humano-Robot

Estos cursos construirían una base sólida para apoyar la investigación en estos campos en crecimiento. Para organizar los recursos, recomendamos usar plataformas como GitHub, donde los educadores puedan compartir y contribuir fácilmente con materiales.

#Propuesta 2: Estándares y Desafíos

Crear estándares y desafíos es una forma útil de ayudar a los investigadores a medir su progreso y comparar su trabajo. Los estándares existentes en comprensión del lenguaje, como el estándar GLUE, son muy populares pero tienen algunas limitaciones. Pueden no probar con precisión los modelos y a menudo se pierden características clave del lenguaje.

Para mejorar los sistemas de diálogo con robots, sugerimos varios criterios para un estándar:

1. Datos multimodales: Los estándares deben incluir múltiples tipos de datos, como habla, información visual y el estado del robot.
2. Interacción Co-ubicada: Los datos deben incluir diálogos que se refieran a objetos en un espacio compartido donde el robot pueda actuar.
3. Diálogo de Alto Riesgo: Las tareas deben requerir colaboración significativa entre un humano y un robot, haciendo que la interacción sea esencial.
4. Enfoque Centrado en el Usuario: El usuario debe sentir que está colaborando, no solo dando órdenes.
5. Agnóstico a la Comunidad: Los estándares deben ser adaptables a varias plataformas de robots y utilizables en entornos virtuales y reales.

#Trabajo Existente sobre Estándares

Hay algunos ejemplos de estándares en interacción humano-robot que podrían inspirar futuros trabajos. Por ejemplo, el estándar ALFRED tiene como objetivo entrenar a los robots para seguir instrucciones en lenguaje natural en entornos virtuales. Sin embargo, tiene limitaciones, ya que se centra principalmente en la entrada de texto sin incluir diálogos complejos.

El Alexa Arena es otro estándar que se centra en el diseño centrado en el usuario. Consiste en tareas únicas y diálogos anotados por humanos que permiten a los investigadores explorar interacciones que pueden llevar a malentendidos o complejidades en la comunicación.

#Desarrollo Propuesto de Estándares

Construir un nuevo estándar ocurrirá en tres pasos:

1. Recolección de Requisitos: Entender lo que los investigadores necesitan en un estándar ayudará a darle forma.
2. Construcción de Infraestructura: Crear un entorno virtual para pruebas asegura que más equipos puedan participar.
3. Lanzamiento de Desafíos: Desafíos iniciales animarán a los equipos a probar el estándar y proporcionar retroalimentación.

Proponemos lanzar un desafío piloto para un pequeño grupo de equipos. Este desafío inicial ayudará a identificar cualquier problema técnico y refinar el estándar.

#Propuesta 3: Modelos de Lenguaje y Robots

Los Modelos de Lenguaje Grande (LLMs) se han vuelto bien conocidos en el campo del NLP y están construidos usando algoritmos complejos que analizan texto. Pueden generar respuestas basadas en la entrada que reciben. Por ejemplo, un robot puede escuchar a una persona, procesar lo que dice y responder de manera apropiada. Aunque suena prometedor, hay limitaciones.

Un gran desafío es que los LLMs son principalmente basados en texto y no entienden el mundo físico sin un entrenamiento específico que incorpore conceptos del mundo real. Si un robot usa solo texto, no podrá relacionarse con objetos o acciones en su entorno.

Además, surgen problemas éticos al usar LLMs, como el riesgo de generar lenguaje sesgado o dañino. Estos problemas necesitan ser abordados al desarrollar robots capaces de entender e interactuar con el lenguaje humano.

#Modelos de Lenguaje Multimodal

En desarrollos recientes, los investigadores han comenzado a crear modelos que combinan información de lenguaje e imagen. Estos modelos multimodales pueden analizar tanto texto como imágenes, haciéndolos más adecuados para tareas donde ambas modalidades son esenciales, como el reconocimiento y acción de objetos que ven los robots.

De cara al futuro, los investigadores deben centrarse en cómo estos modelos pueden ayudar a los robots a entender mejor su entorno y trabajar de manera más efectiva con las personas. También deben asegurarse de que estos modelos se desarrollen éticamente para evitar sesgos y garantizar la inclusividad.

#Preguntas Abiertas

A medida que avancemos, hay preguntas abiertas sobre cómo integrar mejor los modelos de lenguaje dentro de los sistemas robóticos. Consideraciones importantes incluyen:

• ¿Cómo representar el mundo de manera precisa para que el robot lo entienda?
• ¿Qué vocabulario es necesario para asegurar una comunicación efectiva?
• ¿Cómo se puede enseñar a los robots a manejar el lenguaje y la interacción en tiempo real?

Crear modelos de lenguaje más pequeños y eficientes es crucial, especialmente aquellos que no requieren recursos computacionales excesivos. Estos modelos más pequeños deberían poder funcionar en robots en tiempo real y responder a las interacciones sin retraso.

#Abordando el Sesgo, la Seguridad y la Inclusividad

Es esencial abordar problemas de sesgo, seguridad e inclusividad durante el desarrollo de modelos de lenguaje. La investigación debería centrarse en identificar y corregir cualquier sesgo presente en estos modelos, asegurando que no produzcan contenido dañino o engañoso.

Para apoyar a poblaciones diversas, los investigadores deben diseñar modelos que se adapten a las diversas necesidades de los usuarios y garantizar la accesibilidad. Construir un marco que priorice el bienestar de todos los usuarios llevará a interacciones más equitativas con los robots.

#Conclusión

Las discusiones del taller SLIVAR destacan pasos importantes para avanzar en el campo del diálogo con robots. Al crear recursos educativos, establecer estándares e integrar modelos de lenguaje de manera efectiva, podemos mejorar la forma en que las personas se comunican con las máquinas.

A medida que los cursos evolucionen para preparar a nuevos graduados, la investigación continua mejorará las aplicaciones prácticas. Al refinar los estándares de diálogo, los enfoques de modelado y las interacciones multimodales, podemos allanar el camino para un futuro donde la comunicación con robots sea fluida y productiva.

A través de estos esfuerzos, somos optimistas de que el campo de la interacción hablada con robots continuará creciendo y tendrá un impacto positivo en la sociedad, haciendo que la tecnología sea más accesible y efectiva para todos.