El cambio hacia sistemas de conversación de un solo agente
La investigación muestra que a los usuarios les gustan más los sistemas de un solo agente para una mejor interacción.
― 7 minilectura
Tabla de contenidos
- La Necesidad de Múltiples Agentes
- Comparando Experiencias de Interacción
- Crecimiento del Mercado de IA Conversacional
- Desafíos con Múltiples Agentes
- Diseño del Experimento
- Estudios de Usuario
- Comentarios y Resultados de los Participantes
- Perspectivas de Usabilidad
- Comparación de Rendimiento
- Motor de Clasificación de Respuestas
- Abordando Limitaciones de los Agentes
- Conclusión
- Fuente original
- Enlaces de referencia
En los últimos años, los agentes conversacionales, también conocidos como chatbots o asistentes virtuales, se han vuelto súper populares. Estos sistemas pueden entender y responder al lenguaje humano, lo que los hace útiles para un montón de tareas. Dispositivos como Apple Siri y Amazon Alexa han abierto camino para su crecimiento, llevando a muchas empresas a crear sus propios agentes para cosas como manejar dispositivos del hogar, ayudar con compras y dar información.
La Necesidad de Múltiples Agentes
A medida que los agentes conversacionales evolucionan, tienden a especializarse en ciertas áreas. Por ejemplo, un usuario podría usar Amazon Alexa para hacer compras, pero recurrir a Google Assistant para obtener actualizaciones de noticias. Esta especialización significa que los usuarios a menudo tienen que aprender a usar múltiples agentes para completar diferentes tareas, lo que puede ser frustrante.
Una forma de facilitar esto es tener un único agente que pueda manejar solicitudes que normalmente requerirían varios agentes. Sin embargo, este enfoque pierde la capacidad del usuario de elegir qué agente usar, lo que puede llevar a una falta de flexibilidad.
Comparando Experiencias de Interacción
Para abordar estos desafíos, investigamos dos métodos de interactuar con agentes conversacionales: usar un solo agente para todo versus permitir que los usuarios elijan su agente para diferentes tareas. Creamos dos prototipos para probar estas experiencias.
En nuestros estudios, encontramos que los usuarios generalmente preferían el enfoque de un solo agente. Este método permite a los usuarios completar tareas de manera eficiente mientras disfrutan de una buena experiencia con el sistema.
Crecimiento del Mercado de IA Conversacional
El mercado de la IA conversacional está creciendo rápidamente y se espera que tenga un valor de $13.9 mil millones para 2025. El éxito de agentes reconocidos como Apple Siri, Google Assistant y Amazon Alexa ha impulsado el interés en usar tales agentes para tareas específicas, como ayudar a conductores, manejar hogares inteligentes y pedir comida en línea. Muchas empresas están desarrollando rápidamente sus agentes adaptados a sus productos, ofreciendo a los clientes nuevas formas de interactuar.
Hoy en día, plataformas populares como WhatsApp y Facebook albergan un montón de agentes conversacionales. La mayoría de estos agentes están diseñados para funcionar en dominios específicos, pero su éxito indica una fuerte demanda de sistemas más capaces.
Desafíos con Múltiples Agentes
Usar múltiples agentes presenta varios desafíos. Primero, los usuarios necesitan saber qué agente es el más adecuado para su consulta. A medida que los usuarios adquieren experiencia, se familiarizan con las fortalezas y debilidades de los diferentes agentes. Sin embargo, si un sistema utiliza un solo agente, debe encontrar una forma de determinar el mejor agente para cada tarea.
Otra consideración es que los agentes conversacionales reciben actualizaciones y nuevas capacidades con frecuencia. Cualquier sistema que combine agentes debe ser adaptable a los cambios que ocurren en cada agente mientras funciona de manera efectiva.
Por último, está el desafío de asegurar que todos los tipos de solicitudes puedan ser manejadas por los agentes combinados. Algunos agentes pueden no funcionar bien en ciertas áreas, lo que lleva a brechas en el rendimiento.
Diseño del Experimento
Para profundizar en cómo estos diferentes estilos de interacción afectan las experiencias de los usuarios, configuramos experimentos donde los participantes usaron tanto los sistemas de un solo agente como de múltiples agentes.
Se pidió a los participantes que realizaran varias tareas usando cada sistema. Recolectamos sus comentarios para evaluar sus experiencias con ambos tipos de interacción.
Estudios de Usuario
Nuestros estudios de usuario incluyeron a 19 participantes que tenían experiencia usando asistentes conversacionales. Cada participante trabajó en tareas que abarcaron una variedad de temas como clima, vuelos y búsquedas locales.
Usando los dos prototipos, nuestro objetivo era obtener información sobre la satisfacción del usuario, la Usabilidad del sistema y las tasas de finalización de tareas en general. Los participantes del estudio proporcionaron comentarios sobre sus experiencias con ambos sistemas, ayudándonos a entender sus preferencias y desafíos.
Comentarios y Resultados de los Participantes
A través de nuestra investigación, descubrimos que a los usuarios les gustaba más usar el sistema de un solo agente que el sistema de múltiples agentes. El prototipo de un solo agente recibió calificaciones positivas por su usabilidad y fue más efectivo en ayudar a los usuarios a completar tareas.
Los participantes expresaron una preferencia por no tener que decidir qué agente usar, ya que les resultaba más fácil confiar en un solo sistema para manejar varias tareas. Sentían que esto hacía la experiencia más fluida y menos complicada.
Perspectivas de Usabilidad
Se utilizó la Escala de Usabilidad del Sistema para medir qué tan fáciles de usar eran los sistemas. Los resultados mostraron que los participantes estaban más satisfechos con el sistema de un solo agente. Muchos usuarios destacaron lo útil que era tener un sistema que eligiera automáticamente el agente correcto para ellos.
También examinamos qué tan bien entendía cada sistema las consultas de los usuarios y proporcionaba respuestas relevantes. El prototipo de un solo agente superó al sistema de múltiples agentes en proporcionar respuestas precisas y útiles.
Comparación de Rendimiento
Comparamos qué tan bien hicieron los dos sistemas en completar tareas, prestando especial atención a la precisión y cuán cerca estaban las respuestas de las expectativas humanas. El sistema de un solo agente mostró un 71% de precisión, mientras que el sistema de múltiples agentes solo alcanzó un 57%.
Esta comparación resalta lo importante que es tener un sistema que pueda gestionar eficazmente las tareas sin requerir que los usuarios naveguen entre múltiples opciones.
Motor de Clasificación de Respuestas
En el proceso de diseño del sistema, nos aseguramos de incluir un motor de clasificación de respuestas. Este componente evalúa las respuestas proporcionadas por diferentes agentes y determina cuál es la más adecuada para la pregunta del usuario.
Cuando un usuario hace una pregunta, la entrada de voz se convierte en texto. Ese texto se envía luego a varios agentes que proporcionan sus respuestas. El motor de clasificación compara estas respuestas para encontrar la más relevante según la consulta del usuario.
Este método de seleccionar la mejor respuesta significa que el sistema puede adaptarse y funcionar bien incluso a medida que los agentes cambian con el tiempo.
Abordando Limitaciones de los Agentes
A pesar de los avances tecnológicos, algunas limitaciones persisten. Muchos agentes conversacionales no cubren todos los temas o tareas, creando brechas en su efectividad. Agregar más agentes puede llenar estas brechas pero también complicar la Experiencia del usuario.
Nuestro enfoque fomenta mantener a los agentes modulares, permitiendo que se combinen según sea necesario sin requerir cambios extensos en el sistema general. Este enfoque también significa que los usuarios pueden beneficiarse de las mejoras con el tiempo sin necesidad de reaprender cómo interactuar con el sistema.
Conclusión
Los agentes conversacionales están transformando cómo interactuamos con la tecnología todos los días. Aunque la tendencia actual es hacia tener múltiples agentes, nuestra investigación sugiere que los usuarios pueden preferir un enfoque de un solo agente que abstraiga la complejidad de manejar múltiples sistemas.
Al simplificar las interacciones de los usuarios, podemos mejorar el compromiso y la satisfacción, llevando a mejores resultados. A medida que el campo de la IA conversacional continúa creciendo, centrarse en la experiencia del usuario mientras se equilibra flexibilidad y rendimiento ayudará a dar forma a la próxima generación de estos sistemas.
Nuestros hallazgos revelan una fuerte preferencia por sistemas que simplifican la finalización de tareas mientras brindan respuestas de calidad. El trabajo futuro buscará mejorar aún más la experiencia del usuario mientras se abordan los desafíos de las interacciones entre múltiples agentes.
En resumen, las ideas recopiladas de nuestros estudios contribuirán a las discusiones continuas en la comunidad, fomentando más investigaciones sobre la creación de mejores experiencias conversacionales para los usuarios.
Título: One Agent Too Many: User Perspectives on Approaches to Multi-agent Conversational AI
Resumen: Conversational agents have been gaining increasing popularity in recent years. Influenced by the widespread adoption of task-oriented agents such as Apple Siri and Amazon Alexa, these agents are being deployed into various applications to enhance user experience. Although these agents promote "ask me anything" functionality, they are typically built to focus on a single or finite set of expertise. Given that complex tasks often require more than one expertise, this results in the users needing to learn and adopt multiple agents. One approach to alleviate this is to abstract the orchestration of agents in the background. However, this removes the option of choice and flexibility, potentially harming the ability to complete tasks. In this paper, we explore these different interaction experiences (one agent for all) vs (user choice of agents) for conversational AI. We design prototypes for each, systematically evaluating their ability to facilitate task completion. Through a series of conducted user studies, we show that users have a significant preference for abstracting agent orchestration in both system usability and system performance. Additionally, we demonstrate that this mode of interaction is able to provide quality responses that are rated within 1% of human-selected answers.
Autores: Christopher Clarke, Karthik Krishnamurthy, Walter Talamonti, Yiping Kang, Lingjia Tang, Jason Mars
Última actualización: 2024-01-13 00:00:00
Idioma: English
Fuente URL: https://arxiv.org/abs/2401.07123
Fuente PDF: https://arxiv.org/pdf/2401.07123
Licencia: https://creativecommons.org/licenses/by/4.0/
Cambios: Este resumen se ha elaborado con la ayuda de AI y puede contener imprecisiones. Para obtener información precisa, consulte los documentos originales enlazados aquí.
Gracias a arxiv por el uso de su interoperabilidad de acceso abierto.
Enlaces de referencia
- https://developer.amazon.com/en-US/alexa/voice-interoperability
- https://gitlab.com/ChrisIsKing/one-for-all
- https://google.com
- https://developer.amazon.com/en-US/alexa
- https://assistant.google.com/
- https://www.houndify.com/
- https://github.com/hanxiao/bert-as-service
- https://tfhub.dev/google/universal-sentence-encoder-large/3