OpenOmni: Avanzando Agentes de Conversación Multimodales

Los agentes de conversación multimodales son herramientas que permiten a las personas hablar con computadoras de una manera que se siente más natural. Estos agentes pueden usar varias formas de comunicación, como voz, video y texto, para mejorar las interacciones. Sin embargo, a pesar del interés en estas tecnologías, no hay muchas soluciones completas que ayuden a las personas a trabajar juntas para crearlas y probarlas.

Los grandes jugadores en este campo, como OpenAI y Google, han hecho desarrollos impresionantes. Sus sistemas pueden combinar audio, video y texto para responder rápidamente, generalmente en alrededor de 200 a 250 milisegundos. Sin embargo, todavía hay desafíos significativos por abordar. Estos incluyen asegurar que las respuestas sean precisas, mantener costos razonables y proteger los datos de los usuarios.

Para abordar estos problemas, desarrollamos OpenOmni. Esta es una herramienta de código abierto que permite a los investigadores crear y evaluar agentes de conversación. OpenOmni combina tecnologías importantes, incluyendo convertir voz en texto, detectar emociones y generar respuestas basadas en grandes modelos de lenguaje. La herramienta también permite a los usuarios crear sus propios modelos.

OpenOmni se puede ejecutar en computadoras locales o en la nube. Esta flexibilidad ayuda a asegurar que los datos de los usuarios sigan siendo privados mientras permite a los investigadores medir la rapidez con la que sus agentes responden y cuán precisas son esas respuestas. Con esta herramienta, los investigadores pueden personalizar la forma en que funciona sus agentes de conversación, permitiéndoles enfocarse en problemas reales y hacer prototipos rápidamente.

Una área donde OpenOmni puede ser especialmente útil es en ayudar a personas con discapacidad visual a navegar su entorno más fácilmente. Al integrar tecnologías avanzadas, OpenOmni apoya una variedad de aplicaciones que mejoran la interacción humano-computadora.

#Creando un Mejor Agente de Conversación

Los Modelos de Lenguaje Grande (LLMs) han mostrado un gran potencial para averiguar qué quieren los usuarios y dar respuestas adecuadas. Sin embargo, simplemente depender del texto para interactuar a menudo no es suficiente. El último modelo de OpenAI, GPT-4o, puede razonar con audio, video y texto en tiempo real, logrando velocidades impresionantes. Sin embargo, los detalles técnicos de su sistema siguen siendo un misterio.

Aunque existen otras soluciones, no hay herramientas de código abierto disponibles que demuestren completamente los agentes de conversación multimodales en línea. La configuración ideal permitiría a los usuarios interactuar con las computadoras de maneras que imitan la interacción humana, usando video y audio como entrada y generando audio como salida.

A pesar de tener muchos bloques de construcción disponibles, no existe una herramienta completa de código abierto que promueva la investigación en este área. Integrar modelos existentes, como convertir palabras habladas en texto o generar voz a partir de texto, presenta desafíos, especialmente al intentar equilibrar velocidad y precisión.

Históricamente, lograr precisión ha sido complicado. Sin embargo, los avances en los modelos de lenguaje grande han mejorado la relevancia de las respuestas. El desafío clave es reducir el tiempo que tarda el sistema en responder sin sacrificar la precisión. Si bien algunas empresas han demostrado que es posible lograr esto, la comunidad de código abierto carece de alternativas similares.

Además, hay preocupaciones en torno a la privacidad de los datos. Muchos modelos propietarios requieren subir datos personales, lo que plantea preguntas importantes sobre cómo se manejan la información. Para promover el desarrollo responsable de conversaciones multimodales, establecer métodos de evaluación y prueba claros es crucial.

Por ejemplo, si un usuario habla con un tono triste, el sistema debería responder de una manera que reconozca esa emoción. Evaluar qué tan bien funciona esta interacción es esencial para que la tecnología sea aceptada.

#Qué Aspira a Lograr OpenOmni

Nuestro objetivo con OpenOmni es:

1. Crear un marco de código abierto que permita a los usuarios personalizar sus agentes de conversación de principio a fin.
2. Proporcionar opciones para usar el sistema completamente de manera local o en un entorno controlado, abordando problemas de privacidad de datos.
3. Ofrecer herramientas para medir qué tan rápido y preciso opera el sistema, facilitando el desarrollo y la prueba de nuevas ideas.

OpenOmni integra varias tecnologías como el Reconocimiento de voz, la Detección de emociones y la Generación de Texto. Recoge datos de video y audio, los procesa y luego genera una respuesta. Esto facilita reunir información de diferentes fuentes y dar respuestas adecuadas.

La herramienta se puede configurar en una computadora personal, lo que hace más fácil proteger los datos de los usuarios. Los investigadores pueden usar el sistema para recopilar datos de manera sencilla y medir el rendimiento, resultando en informes claros sobre cualquier desafío.

El marco es flexible, permitiendo a los usuarios adaptarlo a sus necesidades específicas, como crear agentes de conversación para asistir a personas en diferentes contextos. Cada parte del sistema puede ser activada o desactivada según lo que los usuarios necesiten, haciéndolo eficiente para diversas circunstancias.

Además, los usuarios pueden agregar sus propios modelos al sistema. Esto fomenta más experimentación y mejora. OpenOmni empodera a los investigadores para enfocarse en los problemas principales sin tener que empezar desde cero.

#Enfoques Existentes para Sistemas de Conversación

Los sistemas de conversación tradicionales a menudo utilizan una estrategia de dividir y conquistar. Esto significa que el proceso se divide en diferentes partes: convertir el habla en texto, entender imágenes, generar respuestas de texto apropiadas y convertir el texto de nuevo en voz. Cada componente debe funcionar bien, pero a veces, el rendimiento general sufre debido a retrasos y errores que se acumulan en el camino.

A pesar de que este enfoque modular permite optimizar cada pieza, esos mismos retrasos pueden hacer que el sistema completo no sea adecuado para su uso en el mundo real.

GPT-4o, comercializado como un sistema completamente integrado, afirma manejar entradas de video, audio y texto para generar salidas relevantes. Sin embargo, el funcionamiento exacto de este sistema sigue siendo poco claro.

Un enfoque totalmente integrado, en teoría, permite más flexibilidad en las respuestas y puede resultar en tiempos de reacción más rápidos, ya que no tiene que coordinar entre diferentes partes. Sin embargo, ambos métodos enfrentan desafíos debido a las grandes cantidades de datos involucrados, particularmente con video, que puede exigir mucho a los recursos y llevar a costos más altos.

A medida que la tecnología avanza, surgen nuevas opciones. Por ejemplo, un enfoque reciente implica combinar el procesamiento de entrada de video con el reconocimiento de voz. Este modelo híbrido puede mejorar el rendimiento al permitir respuestas más rápidas y salidas más precisas.

#Desafíos en Configuraciones del Mundo Real

Crear agentes de conversación multimodales efectivos puede ser complicado debido a tres factores principales: velocidad (latencia), precisión y costo. Encontrar el equilibrio adecuado es esencial si se espera que estos agentes se utilicen ampliamente. Lograr respuestas en tiempo real es particularmente difícil, con muchos sistemas que apuntan a tiempos de respuesta de alrededor de 200 a 400 milisegundos.

Para asegurar una colaboración efectiva dentro de la comunidad, son necesarias métricas de evaluación consistentes. Por ejemplo, medir la precisión en el habla a texto se puede hacer a través de la Tasa de Error de Palabras (WER), donde puntajes más bajos indican un mejor rendimiento. Existen otras métricas de evaluación para evaluar la generación de texto y la calidad de la salida de voz.

Métodos de evaluación innovadores son cruciales para aplicaciones prácticas, como una herramienta de asistencia en interiores para personas mayores que debe evitar temas sensibles. Dado que las preferencias de los usuarios varían, marcos de evaluación personalizables son esenciales para aplicaciones efectivas.

#Arquitectura del Sistema de OpenOmni

El sistema de OpenOmni se estructura en cinco partes principales: Cliente, API, Almacenamiento, Interfaz de Usuario y Agente. El Cliente recoge datos de audio y video y reproduce respuestas de audio. La API gestiona los datos y se comunica entre los módulos, mientras que el componente de Almacenamiento mantiene seguros los medios y los metadatos.

Se utilizan herramientas y marcos como Django y PostgreSQL para desarrollar el sistema. Usando Docker, configurar todo el sistema es sencillo, permitiendo una operación eficiente.

Compartir grandes cantidades de datos entre las distintas partes del sistema puede ser un desafío, especialmente si los datos se procesan en la nube. Aunque las opciones locales reducen los retrasos, las soluciones en la nube ayudan con conjuntos de datos más grandes.

Un desafío para desarrollar estos agentes es la falta de conjuntos de datos sólidos para el entrenamiento. Aunque hay muchas fuentes de interacciones humanas, organizar estos datos en conjuntos de entrenamiento útiles puede ser complicado. OpenOmni proporciona herramientas esenciales para organizar y gestionar dichos datos.

#Pruebas en el Mundo Real con OpenOmni

Realizamos una serie de pruebas utilizando segmentos de eventos de alto perfil, como debates políticos. Se probaron diferentes configuraciones de OpenOmni para medir su rendimiento. Por ejemplo, una configuración combinó varias tecnologías para analizar audio, video y texto, mientras que otra solo se centró en audio.

Los resultados mostraron diferentes tiempos de respuesta promedio dependiendo del modelo utilizado, que oscilaron entre 15 y 189 segundos. Cada configuración tenía fortalezas y debilidades, que se registraron automáticamente en informes de referencia.

Las pruebas de precisión iniciales revelaron que, aunque algunos modelos se desempeñaron bien en contexto, sus respuestas a menudo podían ser demasiado generalizadas. Además, ciertos modelos funcionaron particularmente bien en evaluaciones subjetivas pero tuvieron dificultades con preguntas más factuales.

Para configuraciones prácticas, como asistir a personas con discapacidad visual, OpenOmni mostró potencial. Sin embargo, se necesitan más mejoras para aumentar la velocidad y las habilidades específicas de estos agentes de conversación.

#Conclusión

El desarrollo de agentes de conversación multimodales representa una oportunidad emocionante para crear interacciones más naturales entre humanos y máquinas. Aunque hay avances prometedores, todavía quedan desafíos en equilibrar la velocidad, la precisión y el costo.

OpenOmni ofrece un camino para que investigadores y desarrolladores construyan, prueben y mejoren sus agentes conversacionales. Al proporcionar flexibilidad, opciones de personalización y herramientas de evaluación robustas, OpenOmni aspira a fomentar más innovación en interacciones multimodales, convirtiéndose en un activo valioso para una amplia gama de aplicaciones.