Simple Science

Hochmoderne Wissenschaft einfach erklärt

# Computerwissenschaften# Mensch-Computer-Interaktion# Rechnen und Sprache

Der Wandel zu Single-Agent-Konversationssystemen

Forschung zeigt, dass Nutzer Einzelagentensysteme für bessere Interaktion bevorzugen.

― 7 min Lesedauer


Single-Agent vsSingle-Agent vsMulti-Agent Präferenzreibungslose Interaktionen.Nutzer bevorzugen Ein-Agent-Systeme für
Inhaltsverzeichnis

In den letzten Jahren sind konversationale Agenten, auch bekannt als Chatbots oder virtuelle Assistenten, super beliebt geworden. Diese Systeme können menschliche Sprache verstehen und darauf reagieren, was sie für verschiedene Aufgaben nützlich macht. Geräte wie Apple Siri und Amazon Alexa haben den Weg für ihr Wachstum geebnet, was viele Firmen dazu bringt, eigene Agenten zu entwickeln, um Aufgaben wie die Verwaltung von Haushaltsgeräten, Einkaufshelfen und Informationsbereitstellung zu übernehmen.

Der Bedarf an mehreren Agenten

Während konversationale Agenten sich weiterentwickeln, neigen sie dazu, sich auf bestimmte Bereiche zu spezialisieren. Zum Beispiel könnte ein Nutzer Amazon Alexa fürs Einkaufen nutzen, sich aber für Google Assistant entscheiden, um Nachrichtenupdates zu bekommen. Diese Spezialisierung bedeutet, dass Nutzer oft lernen müssen, wie man mehrere Agenten für verschiedene Aufgaben verwendet, was frustrierend sein kann.

Eine Möglichkeit, das einfacher zu machen, ist ein einzelner Agent, der Anfragen bearbeiten kann, für die man normalerweise mehrere Agenten braucht. Allerdings verliert man dadurch die Möglichkeit, den Agenten selbst auszuwählen, was die Flexibilität einschränken kann.

Vergleich der Interaktionserfahrungen

Um diese Herausforderungen anzugehen, haben wir uns zwei Methoden angeschaut, wie man mit konversationalen Agenten interagieren kann: einen Agenten für alles verwenden versus den Nutzern erlauben, ihren Agenten für verschiedene Aufgaben auszuwählen. Wir haben zwei Prototypen erstellt, um diese Erfahrungen zu testen.

In unseren Studien haben wir festgestellt, dass die Nutzer im Allgemeinen den Ansatz mit dem einzelnen Agenten bevorzugten. Diese Methode ermöglicht es den Nutzern, Aufgaben effizient zu erledigen und dabei auch eine gute Erfahrung mit dem System zu haben.

Wachstum des Marktes für konversationale KI

Der Markt für konversationale KI wächst schnell und wird voraussichtlich bis 2025 einen Wert von 13,9 Milliarden Dollar erreichen. Der Erfolg bekannter Agenten wie Apple Siri, Google Assistant und Amazon Alexa hat das Interesse geweckt, solche Agenten für spezifische Aufgaben zu nutzen, wie z.B. Fahrern zu helfen, smarte Haushalte zu verwalten und Essen online zu bestellen. Viele Unternehmen entwickeln zügig ihre Agenten, die auf ihre Produkte zugeschnitten sind, und bieten Kunden neue Möglichkeiten zur Interaktion.

Heute bieten beliebte Plattformen wie WhatsApp und Facebook eine riesige Anzahl von konversationalen Agenten. Die meisten dieser Agenten sind darauf ausgelegt, in bestimmten Bereichen zu funktionieren, aber ihr Erfolg deutet auf eine starke Nachfrage nach leistungsfähigeren Systemen hin.

Herausforderungen mit mehreren Agenten

Die Verwendung mehrerer Agenten bringt einige Herausforderungen mit sich. Erstens müssen die Nutzer wissen, welcher Agent am besten für ihre Anfrage geeignet ist. Mit zunehmender Erfahrung werden sie sich der Stärken und Schwächen der verschiedenen Agenten bewusst. Wenn ein System jedoch nur einen Agenten verwendet, muss es einen Weg finden, den besten Agenten für jede Aufgabe zu bestimmen.

Ein weiterer Punkt ist, dass konversationale Agenten häufig Updates und neue Funktionen erhalten. Jedes System, das Agenten kombiniert, muss anpassungsfähig sein, um die Änderungen in jedem Agenten zu berücksichtigen und gleichzeitig effektiv zu funktionieren.

Schliesslich gibt es die Herausforderung, sicherzustellen, dass alle Arten von Anfragen von den kombinierten Agenten bearbeitet werden können. Einige Agenten funktionieren möglicherweise nicht gut in bestimmten Bereichen, was zu Leistungslücken führt.

Experimentdesign

Um weiter zu untersuchen, wie sich diese verschiedenen Interaktionsstile auf die Nutzererfahrungen auswirken, haben wir Experimente eingerichtet, bei denen die Teilnehmer sowohl das Ein-Agenten- als auch das Mehr-Agenten-System verwendeten.

Die Teilnehmer wurden gebeten, verschiedene Aufgaben mit jedem System zu erledigen. Wir sammelten ihr Feedback, um ihre Erfahrungen mit beiden Interaktionsarten zu bewerten.

Nutzerstudien

Unsere Nutzerstudien umfassten 19 Teilnehmer, die Erfahrung mit der Nutzung konversationaler Assistenten hatten. Jeder Teilnehmer arbeitete Aufgaben durch, die eine Vielzahl von Themen abdeckten, wie Wetter, Flüge und lokale Suchen.

Mit den zwei Prototypen wollten wir Einblicke in die Nutzerzufriedenheit, die Benutzerfreundlichkeit des Systems und die allgemeinen Abschlussraten von Aufgaben gewinnen. Die Studienteilnehmer gaben Rückmeldungen zu ihren Erfahrungen mit beiden Systemen, was uns half, ihre Vorlieben und Herausforderungen zu verstehen.

Teilnehmerfeedback und Ergebnisse

Durch unsere Forschung fanden wir heraus, dass die Nutzer das Ein-Agenten-System mehr mochten als das Mehr-Agenten-System. Der Prototyp mit einem Agenten erhielt positive Bewertungen bezüglich der Benutzerfreundlichkeit und war effektiver darin, den Nutzern bei der Erledigung von Aufgaben zu helfen.

Die Teilnehmer äusserten den Wunsch, nicht entscheiden zu müssen, welchen Agenten sie nutzen, da sie es einfacher fanden, sich auf ein System zu verlassen, um verschiedene Aufgaben zu erledigen. Sie fanden, dass dies die Erfahrung reibungsloser und weniger kompliziert machte.

Benutzerfreundlichkeit Insights

Die System Usability Scale wurde verwendet, um zu messen, wie einfach die Systeme zu bedienen waren. Die Ergebnisse zeigten, dass die Teilnehmer mit dem Ein-Agenten-System zufriedener waren. Viele Nutzer hoben hervor, wie hilfreich es war, ein System zu haben, das automatisch den richtigen Agenten für sie auswählte.

Wir haben auch untersucht, wie gut jedes System die Benutzeranfragen verstand und relevante Antworten lieferte. Der Prototyp mit einem Agenten übertraf das Mehr-Agenten-System darin, genaue und hilfreiche Antworten zu geben.

Leistungsvergleich

Wir verglichen, wie gut die beiden Systeme bei der Erledigung von Aufgaben abschnitten, insbesondere in Bezug auf Genauigkeit und wie gut die Antworten den Erwartungen der Nutzer entsprachen. Das Ein-Agenten-System zeigte eine Genauigkeit von 71 %, während das Mehr-Agenten-System nur 57 % erreichte.

Dieser Vergleich hebt hervor, wie wichtig es ist, ein System zu haben, das Aufgaben effektiv verwalten kann, ohne dass die Nutzer durch mehrere Auswahlmöglichkeiten navigieren müssen.

Antwort-Rangfolge-Engine

Im Designprozess des Systems haben wir darauf geachtet, eine Antwort-Rangfolge-Engine einzubeziehen. Dieses Element bewertet die Antworten, die von verschiedenen Agenten bereitgestellt werden, und bestimmt, welche am besten zur Frage des Nutzers passt.

Wenn ein Nutzer eine Frage stellt, wird die Sprachaufnahme in Text umgewandelt. Dieser Text wird dann an verschiedene Agenten gesendet, die ihre Antworten liefern. Die Rangfolge-Engine vergleicht diese Antworten, um die relevanteste basierend auf der Anfrage des Nutzers zu finden.

Diese Methode zur Auswahl der besten Antwort bedeutet, dass das System sich anpassen und gut funktionieren kann, selbst wenn sich die Agenten im Laufe der Zeit ändern.

Umgang mit den Einschränkungen der Agenten

Trotz technischer Fortschritte bestehen einige Einschränkungen weiterhin. Viele konversationale Agenten decken nicht alle Themen oder Aufgaben ab, was Lücken in ihrer Wirksamkeit schafft. Das Hinzufügen weiterer Agenten kann diese Lücken schliessen, kann jedoch auch die Nutzererfahrung komplizieren.

Unser Ansatz fördert die Modularität der Agenten, sodass sie nach Bedarf kombiniert werden können, ohne umfangreiche Änderungen am Gesamtsystem vorzunehmen. Dieser Ansatz bedeutet auch, dass die Nutzer von Verbesserungen im Laufe der Zeit profitieren können, ohne neu lernen zu müssen, wie man mit dem System interagiert.

Fazit

Konversationale Agenten verändern, wie wir jeden Tag mit Technologie interagieren. Während der aktuelle Trend zu mehreren Agenten tendiert, deutet unsere Forschung darauf hin, dass Nutzer einen Ansatz mit einem einzelnen Agenten bevorzugen könnten, der die Komplexität der Verwaltung mehrerer Systeme abstrahiert.

Durch die Vereinfachung der Nutzerinteraktionen können wir das Engagement und die Zufriedenheit verbessern, was zu besseren Ergebnissen führt. Während das Feld der konversationalen KI weiter wächst, wird es wichtig sein, sich auf die Nutzererfahrung zu konzentrieren, während Flexibilität und Leistung im Gleichgewicht gehalten werden, um die nächste Generation dieser Systeme zu gestalten.

Unsere Ergebnisse zeigen eine starke Vorliebe für Systeme, die die Durchführung von Aufgaben erleichtern, während sie qualitativ hochwertige Antworten liefern. Zukünftige Arbeiten werden sich darauf konzentrieren, die Nutzererfahrung weiter zu verbessern und die Herausforderungen der Interaktion mit mehreren Agenten anzugehen.

Zusammenfassend werden die aus unseren Studien gewonnenen Erkenntnisse zu den laufenden Diskussionen in der Community beitragen und weitere Forschungen anregen, um bessere konversationale Erlebnisse für die Nutzer zu schaffen.

Originalquelle

Titel: One Agent Too Many: User Perspectives on Approaches to Multi-agent Conversational AI

Zusammenfassung: Conversational agents have been gaining increasing popularity in recent years. Influenced by the widespread adoption of task-oriented agents such as Apple Siri and Amazon Alexa, these agents are being deployed into various applications to enhance user experience. Although these agents promote "ask me anything" functionality, they are typically built to focus on a single or finite set of expertise. Given that complex tasks often require more than one expertise, this results in the users needing to learn and adopt multiple agents. One approach to alleviate this is to abstract the orchestration of agents in the background. However, this removes the option of choice and flexibility, potentially harming the ability to complete tasks. In this paper, we explore these different interaction experiences (one agent for all) vs (user choice of agents) for conversational AI. We design prototypes for each, systematically evaluating their ability to facilitate task completion. Through a series of conducted user studies, we show that users have a significant preference for abstracting agent orchestration in both system usability and system performance. Additionally, we demonstrate that this mode of interaction is able to provide quality responses that are rated within 1% of human-selected answers.

Autoren: Christopher Clarke, Karthik Krishnamurthy, Walter Talamonti, Yiping Kang, Lingjia Tang, Jason Mars

Letzte Aktualisierung: 2024-01-13 00:00:00

Sprache: English

Quell-URL: https://arxiv.org/abs/2401.07123

Quell-PDF: https://arxiv.org/pdf/2401.07123

Lizenz: https://creativecommons.org/licenses/by/4.0/

Änderungen: Diese Zusammenfassung wurde mit Unterstützung von AI erstellt und kann Ungenauigkeiten enthalten. Genaue Informationen entnehmen Sie bitte den hier verlinkten Originaldokumenten.

Vielen Dank an arxiv für die Nutzung seiner Open-Access-Interoperabilität.

Mehr von den Autoren

Ähnliche Artikel