Le passage vers des systèmes de conversation à agent unique
Des recherches montrent que les utilisateurs préfèrent des systèmes à agent unique pour une meilleure interaction.
― 8 min lire
Table des matières
- Le besoin de plusieurs agents
- Comparaison des expériences d'interaction
- Croissance du marché de l'IA conversationnelle
- Défis avec plusieurs agents
- Conception de l'expérience
- Études utilisateurs
- Retours des participants et résultats
- Insights sur l'aisance d'utilisation
- Comparaison des Performances
- Moteur de classement des réponses
- Répondre aux limitations des agents
- Conclusion
- Source originale
- Liens de référence
Ces dernières années, les agents conversationnels, aussi appelés chatbots ou assistants virtuels, sont devenus super populaires. Ces systèmes peuvent comprendre et répondre au langage humain, ce qui les rend utiles pour plein de tâches différentes. Des dispositifs comme Apple Siri et Amazon Alexa ont ouvert la voie à leur croissance, poussant beaucoup d'entreprises à créer leurs propres agents pour des trucs comme gérer des appareils domestiques, aider avec les courses et fournir des infos.
Le besoin de plusieurs agents
À mesure que les agents conversationnels évoluent, ils tendent à se spécialiser dans certains domaines. Par exemple, un utilisateur pourrait utiliser Amazon Alexa pour faire des achats, mais se tourner vers Google Assistant pour obtenir des news. Cette spécialisation signifie que les utilisateurs doivent souvent apprendre à utiliser plusieurs agents pour accomplir différentes tâches, ce qui peut être frustrant.
Une façon de simplifier ça, c'est d'avoir un seul agent capable de gérer des demandes qui nécessiteraient normalement plusieurs agents. Mais cette approche fait perdre à l'utilisateur la possibilité de choisir quel agent utiliser, ce qui peut mener à un manque de flexibilité.
Comparaison des expériences d'interaction
Pour relever ces défis, on a examiné deux méthodes d'interaction avec les agents conversationnels : utiliser un agent pour tout ou permettre aux utilisateurs de choisir leur agent pour différentes tâches. On a créé deux prototypes pour tester ces expériences.
Dans nos études, on a constaté que les utilisateurs préféraient généralement l'approche d'un agent unique. Cette méthode permet aux utilisateurs d'accomplir des tâches efficacement tout en profitant d'une bonne expérience avec le système.
Croissance du marché de l'IA conversationnelle
Le marché de l'IA conversationnelle se développe rapidement et devrait atteindre une valeur de 13,9 milliards de dollars d'ici 2025. Le succès d'agents connus comme Apple Siri, Google Assistant et Amazon Alexa a suscité un intérêt pour l'utilisation de tels agents pour des tâches spécifiques, comme aider les conducteurs, gérer des maisons connectées et commander de la nourriture en ligne. Beaucoup d'entreprises développent rapidement leurs agents adaptés à leurs produits, offrant aux clients de nouvelles façons d'interagir.
Aujourd'hui, des plateformes populaires comme WhatsApp et Facebook hébergent un grand nombre d'agents conversationnels. La majorité de ces agents sont conçus pour fonctionner dans des domaines spécifiques, mais leur succès indique une forte demande pour des systèmes plus performants.
Défis avec plusieurs agents
Utiliser plusieurs agents pose plusieurs défis. D'abord, les utilisateurs doivent savoir quel agent est le mieux adapté à leur demande. À mesure que les utilisateurs acquièrent de l'expérience, ils se familiarisent avec les forces et les faiblesses des différents agents. Cependant, si un système utilise un seul agent, il doit trouver un moyen de déterminer le meilleur agent pour chaque tâche.
Une autre considération est que les agents conversationnels reçoivent fréquemment des mises à jour et de nouvelles capacités. Tout système qui combine des agents doit être adaptable aux changements qui se produisent dans chaque agent tout en fonctionnant efficacement.
Enfin, il y a le défi de s'assurer que tous les types de demandes peuvent être traités par les agents combinés. Certains agents peuvent ne pas bien fonctionner dans certains domaines, ce qui entraîne des lacunes en performance.
Conception de l'expérience
Pour explorer comment ces différents styles d'interaction affectent l'Expérience Utilisateur, on a mis en place des expériences où les participants ont utilisé à la fois le système à agent unique et le système à plusieurs agents.
Les participants ont été invités à réaliser diverses tâches avec chaque système. On a recueilli leurs retours pour évaluer leurs expériences avec les deux types d'interaction.
Études utilisateurs
Nos études utilisateurs comprenaient 19 participants qui avaient de l'expérience avec les assistants conversationnels. Chaque participant a travaillé sur des tâches portant sur différents sujets comme la météo, les vols et les recherches locales.
Avec les deux prototypes, on visait à recueillir des infos sur la satisfaction des utilisateurs, l'aisance d'utilisation du système et les taux de réussite globaux des tâches. Les participants ont donné leur avis sur leurs expériences avec les deux systèmes, ce qui nous a aidés à comprendre leurs préférences et leurs défis.
Retours des participants et résultats
Grâce à notre recherche, on a découvert que les utilisateurs préféraient utiliser le système à agent unique par rapport au système à plusieurs agents. Le prototype à agent unique a reçu des évaluations positives pour son aisance d'utilisation, et il était plus efficace pour aider les utilisateurs à accomplir des tâches.
Les participants ont exprimé leur préférence pour ne pas avoir à décider quel agent utiliser, car ils trouvaient plus facile de compter sur un seul système pour gérer plusieurs tâches. Ils ont trouvé que cela rendait l'expérience plus fluide et moins compliquée.
Insights sur l'aisance d'utilisation
On a utilisé l'échelle d'aisance d'utilisation du système pour mesurer à quel point les systèmes étaient faciles à utiliser. Les résultats ont montré que les participants étaient plus satisfaits du système à agent unique. Beaucoup d'utilisateurs ont souligné à quel point il était utile d'avoir un système qui choisissait automatiquement le bon agent pour eux.
On a aussi examiné comment chaque système comprenait les requêtes des utilisateurs et fournissait des réponses pertinentes. Le prototype à agent unique a surpassé le système à plusieurs agents en délivrant des réponses précises et utiles.
Performances
Comparaison desOn a comparé la performance des deux systèmes dans l'accomplissement des tâches, en se concentrant particulièrement sur la précision et la manière dont les réponses correspondaient aux attentes humaines. Le système à agent unique a montré une précision de 71 %, tandis que le système à plusieurs agents a seulement atteint 57 %.
Cette comparaison souligne à quel point il est important d'avoir un système qui peut gérer efficacement les tâches sans nécessiter que les utilisateurs naviguent à travers plusieurs choix.
Moteur de classement des réponses
Dans le processus de conception du système, on a veillé à inclure un moteur de classement des réponses. Ce composant évalue les réponses fournies par différents agents et détermine laquelle est la mieux adaptée à la question de l'utilisateur.
Lorsqu'un utilisateur pose une question, l'entrée vocale est convertie en texte. Ce texte est ensuite envoyé à divers agents qui fournissent leurs réponses. Le moteur de classement compare ces réponses pour trouver la plus pertinente en fonction de la requête de l'utilisateur.
Cette méthode de sélection de la meilleure réponse permet au système de s'adapter et de bien fonctionner même lorsque les agents évoluent avec le temps.
Répondre aux limitations des agents
Malgré les avancées technologiques, certaines limitations persistent. Beaucoup d'agents conversationnels ne couvrent pas tous les sujets ou tâches, créant des lacunes dans leur efficacité. Ajouter plus d'agents peut combler ces lacunes mais complique aussi l'expérience de l'utilisateur.
Notre approche encourage à garder les agents modulaires, permettant de les combiner selon les besoins sans nécessiter de changements majeurs dans le système global. Cela signifie aussi que les utilisateurs peuvent bénéficier des améliorations au fil du temps sans avoir à réapprendre comment interagir avec le système.
Conclusion
Les agents conversationnels transforment notre façon d'interagir avec la technologie chaque jour. Bien que la tendance actuelle soit d'avoir plusieurs agents, notre recherche suggère que les utilisateurs pourraient préférer une approche à agent unique qui simplifie la gestion de plusieurs systèmes.
En simplifiant les interactions des utilisateurs, on peut améliorer l'engagement et la satisfaction, menant à de meilleurs résultats. À mesure que le domaine de l'IA conversationnelle continue de se développer, se concentrer sur l'expérience utilisateur tout en équilibrant flexibilité et performance aidera à façonner la prochaine génération de ces systèmes.
Nos résultats révèlent une forte préférence pour les systèmes qui rationalisent l'accomplissement des tâches tout en fournissant des réponses de qualité. Les travaux futurs se concentreront sur l'amélioration continue de l'expérience utilisateur tout en répondant aux défis des interactions à plusieurs agents.
En résumé, les insights recueillis lors de nos études contribueront aux discussions en cours au sein de la communauté, encourageant des recherches supplémentaires pour créer de meilleures expériences conversationnelles pour les utilisateurs.
Titre: One Agent Too Many: User Perspectives on Approaches to Multi-agent Conversational AI
Résumé: Conversational agents have been gaining increasing popularity in recent years. Influenced by the widespread adoption of task-oriented agents such as Apple Siri and Amazon Alexa, these agents are being deployed into various applications to enhance user experience. Although these agents promote "ask me anything" functionality, they are typically built to focus on a single or finite set of expertise. Given that complex tasks often require more than one expertise, this results in the users needing to learn and adopt multiple agents. One approach to alleviate this is to abstract the orchestration of agents in the background. However, this removes the option of choice and flexibility, potentially harming the ability to complete tasks. In this paper, we explore these different interaction experiences (one agent for all) vs (user choice of agents) for conversational AI. We design prototypes for each, systematically evaluating their ability to facilitate task completion. Through a series of conducted user studies, we show that users have a significant preference for abstracting agent orchestration in both system usability and system performance. Additionally, we demonstrate that this mode of interaction is able to provide quality responses that are rated within 1% of human-selected answers.
Auteurs: Christopher Clarke, Karthik Krishnamurthy, Walter Talamonti, Yiping Kang, Lingjia Tang, Jason Mars
Dernière mise à jour: 2024-01-13 00:00:00
Langue: English
Source URL: https://arxiv.org/abs/2401.07123
Source PDF: https://arxiv.org/pdf/2401.07123
Licence: https://creativecommons.org/licenses/by/4.0/
Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.
Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.
Liens de référence
- https://developer.amazon.com/en-US/alexa/voice-interoperability
- https://gitlab.com/ChrisIsKing/one-for-all
- https://google.com
- https://developer.amazon.com/en-US/alexa
- https://assistant.google.com/
- https://www.houndify.com/
- https://github.com/hanxiao/bert-as-service
- https://tfhub.dev/google/universal-sentence-encoder-large/3