A Mudança para Sistemas de Conversação de Um Único Agente
Pesquisas mostram que os usuários preferem sistemas de agente único pra ter uma interação melhor.
― 7 min ler
Índice
- A Necessidade de Múltiplos Agentes
- Comparando Experiências de Interação
- Crescimento do Mercado de IA Conversacional
- Desafios com Múltiplos Agentes
- Design do Experimento
- Estudos com Usuários
- Feedback dos Participantes e Resultados
- Insights de Usabilidade
- Comparação de Performance
- Motor de Classificação de Respostas
- Abordando Limitações dos Agentes
- Conclusão
- Fonte original
- Ligações de referência
Nos últimos anos, agentes conversacionais, também conhecidos como chatbots ou assistentes virtuais, ficaram super populares. Esses sistemas conseguem entender e responder a linguagem humana, tornando-se úteis pra várias tarefas. Dispositivos como Apple Siri e Amazon Alexa abriram caminho pra esse crescimento, fazendo com que muitas empresas criassem seus próprios agentes pra gerenciar dispositivos domésticos, ajudar nas compras e fornecer informações.
A Necessidade de Múltiplos Agentes
Conforme os agentes conversacionais evoluem, eles tendem a se especializar em certas áreas. Por exemplo, um usuário pode usar a Amazon Alexa pra fazer compras, mas recorrer ao Google Assistant pra receber atualizações de notícias. Essa especialização significa que os usuários muitas vezes precisam aprender a usar vários agentes pra completar tarefas diferentes, o que pode ser frustrante.
Uma forma de facilitar isso é ter um único agente que consiga lidar com pedidos que normalmente exigiriam vários. No entanto, essa abordagem perde a capacidade do usuário de escolher qual agente usar, o que pode levar a uma falta de flexibilidade.
Comparando Experiências de Interação
Pra resolver esses desafios, a gente investigou duas formas de interagir com agentes conversacionais: usar um agente pra tudo ou permitir que os usuários escolham seu agente pra diferentes tarefas. Criamos dois protótipos pra testar essas experiências.
Nos nossos estudos, descobrimos que os usuários geralmente preferiam a abordagem de um único agente. Esse método permite que os usuários completem tarefas de forma eficiente enquanto também curtem uma boa experiência com o sistema.
Crescimento do Mercado de IA Conversacional
O mercado de IA conversacional tá crescendo rápido e deve valer $13.9 bilhões até 2025. O sucesso de agentes conhecidos como Apple Siri, Google Assistant e Amazon Alexa aumentou o interesse em usar esses agentes pra tarefas específicas, como ajudar motoristas, gerenciar casas inteligentes e pedir comida online. Muitas empresas estão desenvolvendo rapidamente seus agentes adaptados aos seus produtos, oferecendo aos clientes novas formas de interagir.
Hoje, plataformas populares como WhatsApp e Facebook hospedam um monte de agentes conversacionais. A maioria desses agentes é projetada pra funcionar em domínios específicos, mas seu sucesso indica uma forte demanda por sistemas mais capazes.
Desafios com Múltiplos Agentes
Usar múltiplos agentes apresenta vários desafios. Primeiro, os usuários precisam saber qual agente é mais adequado pra sua consulta. Com o tempo, os usuários se familiarizam com os pontos fortes e fracos dos diferentes agentes. No entanto, se um sistema usa um único agente, ele deve encontrar uma maneira de determinar o melhor agente pra cada tarefa.
Outra consideração é que os agentes conversacionais frequentemente recebem atualizações e novas funcionalidades. Qualquer sistema que combine agentes precisa ser adaptável às mudanças que acontecem em cada agente enquanto funciona de forma eficaz.
Por último, tem o desafio de garantir que todos os tipos de pedidos possam ser atendidos pelos agentes combinados. Alguns agentes podem não funcionar bem em certas áreas, levando a lacunas no Desempenho.
Design do Experimento
Pra investigar melhor como esses diferentes estilos de interação afetam as experiências dos usuários, montamos experimentos onde os participantes usaram tanto o sistema de um único agente quanto o de múltiplos agentes.
Os participantes foram convidados a realizar várias tarefas usando cada sistema. Coletamos o feedback deles pra avaliar suas experiências com os dois tipos de interação.
Estudos com Usuários
Nossos estudos com usuários incluíram 19 participantes que tinham experiência com assistentes conversacionais. Cada participante trabalhou em tarefas que abrangiam uma variedade de tópicos como clima, voos e pesquisas locais.
Usando os dois protótipos, nosso objetivo era coletar insights sobre a satisfação dos usuários, Usabilidade do sistema e taxas gerais de conclusão de tarefas. Os participantes do estudo forneceram feedback sobre suas experiências com os dois sistemas, ajudando a gente a entender suas preferências e desafios.
Feedback dos Participantes e Resultados
Através da nossa pesquisa, descobrimos que os usuários curtiram mais usar o sistema de um único agente do que o de múltiplos agentes. O protótipo de um único agente recebeu avaliações positivas em usabilidade e foi mais eficaz em ajudar os usuários a completar tarefas.
Os participantes expressaram preferência por não ter que decidir qual agente usar, pois acharam mais fácil confiar em um único sistema pra lidar com várias tarefas. Eles sentiram que isso tornava a experiência mais fluida e menos complicada.
Insights de Usabilidade
Usamos a Escala de Usabilidade do Sistema pra medir quão fácil os sistemas eram de usar. Os resultados mostraram que os participantes estavam mais satisfeitos com o sistema de um único agente. Muitos usuários destacaram como era útil ter um sistema que escolhia automaticamente o agente certo pra eles.
A gente também examinou quão bem cada sistema entendia as consultas dos usuários e fornecia respostas relevantes. O protótipo de um único agente se destacou em fornecer respostas precisas e úteis.
Comparação de Performance
Comparamos como os dois sistemas se saíram na conclusão de tarefas, focando especialmente na precisão e quão bem as respostas corresponderam às expectativas humanas. O sistema de um único agente mostrou 71% de precisão, enquanto o sistema de múltiplos agentes teve apenas 57%.
Essa comparação destaca como é importante ter um sistema que possa gerenciar tarefas de forma eficaz sem que os usuários precisem passar por várias escolhas.
Motor de Classificação de Respostas
No processo de design do sistema, garantimos incluir um motor de classificação de respostas. Esse componente avalia as respostas fornecidas por diferentes agentes e determina qual é a melhor pra pergunta do usuário.
Quando um usuário faz uma pergunta, a entrada de voz é convertida em texto. Esse texto é enviado pra vários agentes que fornecem suas respostas. O motor de classificação compara essas respostas pra encontrar a mais relevante com base na consulta do usuário.
Esse método de selecionar a melhor resposta significa que o sistema pode se adaptar e funcionar bem mesmo enquanto os agentes mudam ao longo do tempo.
Abordando Limitações dos Agentes
Apesar dos avanços tecnológicos, algumas limitações persistem. Muitos agentes conversacionais não cobrem todos os tópicos ou tarefas, criando lacunas em sua eficácia. Adicionar mais agentes pode preencher essas lacunas, mas também complica a Experiência do Usuário.
Nossa abordagem incentiva manter os agentes modulares, permitindo que eles sejam combinados conforme necessário sem exigir mudanças extensivas no sistema como um todo. Essa abordagem também significa que os usuários podem se beneficiar de melhorias ao longo do tempo sem precisar reaprender como interagir com o sistema.
Conclusão
Agentes conversacionais estão transformando como interagimos com a tecnologia todos os dias. Embora a tendência atual seja ter múltiplos agentes, nossa pesquisa sugere que os usuários podem preferir uma abordagem de único agente que abstrai a complexidade de gerenciar vários sistemas.
Ao simplificar as interações dos usuários, podemos melhorar o envolvimento e a satisfação, levando a melhores resultados. À medida que o campo da IA conversacional continua a crescer, focar na experiência do usuário enquanto equilibra flexibilidade e performance ajudará a moldar a próxima geração desses sistemas.
Nossos achados revelam uma forte preferência por sistemas que agilizem a conclusão de tarefas enquanto fornecem respostas de qualidade. Trabalhos futuros vão explorar mais formas de melhorar a experiência do usuário enquanto lidam com os desafios das interações de múltiplos agentes.
Em resumo, os insights coletados dos nossos estudos vão contribuir pra discussões contínuas na comunidade, incentivando mais pesquisas sobre como criar experiências conversacionais melhores para os usuários.
Título: One Agent Too Many: User Perspectives on Approaches to Multi-agent Conversational AI
Resumo: Conversational agents have been gaining increasing popularity in recent years. Influenced by the widespread adoption of task-oriented agents such as Apple Siri and Amazon Alexa, these agents are being deployed into various applications to enhance user experience. Although these agents promote "ask me anything" functionality, they are typically built to focus on a single or finite set of expertise. Given that complex tasks often require more than one expertise, this results in the users needing to learn and adopt multiple agents. One approach to alleviate this is to abstract the orchestration of agents in the background. However, this removes the option of choice and flexibility, potentially harming the ability to complete tasks. In this paper, we explore these different interaction experiences (one agent for all) vs (user choice of agents) for conversational AI. We design prototypes for each, systematically evaluating their ability to facilitate task completion. Through a series of conducted user studies, we show that users have a significant preference for abstracting agent orchestration in both system usability and system performance. Additionally, we demonstrate that this mode of interaction is able to provide quality responses that are rated within 1% of human-selected answers.
Autores: Christopher Clarke, Karthik Krishnamurthy, Walter Talamonti, Yiping Kang, Lingjia Tang, Jason Mars
Última atualização: 2024-01-13 00:00:00
Idioma: English
Fonte URL: https://arxiv.org/abs/2401.07123
Fonte PDF: https://arxiv.org/pdf/2401.07123
Licença: https://creativecommons.org/licenses/by/4.0/
Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.
Obrigado ao arxiv pela utilização da sua interoperabilidade de acesso aberto.
Ligações de referência
- https://developer.amazon.com/en-US/alexa/voice-interoperability
- https://gitlab.com/ChrisIsKing/one-for-all
- https://google.com
- https://developer.amazon.com/en-US/alexa
- https://assistant.google.com/
- https://www.houndify.com/
- https://github.com/hanxiao/bert-as-service
- https://tfhub.dev/google/universal-sentence-encoder-large/3