Kundenservice mit Sprachmodellen verbessern
Entdecke, wie Sprachmodelle die Effizienz im Kundenservice steigern und Kosten senken.
― 8 min Lesedauer
Inhaltsverzeichnis
- Die Rolle menschlicher Agenten im Kundenservice
- Überblick über Conversation Assist
- Die Kosten und Vorteile von grossen Sprachmodellen (LLMs)
- Die Fallstudie
- Automatisierung und menschliche Interaktion
- Methoden zur Anpassung von Sprachmodellen
- Bewertung der Antwortnutzbarkeit
- Analyse von Leistungskennzahlen
- Erwartete Nettokosteneinsparungen (ENCS)
- Die Zukunft von LLMs im Kundenservice
- Ethische Überlegungen
- Einschränkungen und Annahmen
- Fazit
- Originalquelle
- Referenz Links
Kundendienst ist für viele Unternehmen super wichtig, und Firmen suchen oft nach Wegen, diesen Service zu verbessern und gleichzeitig Geld zu sparen. Eine Methode ist die Nutzung von Sprachmodellen. Diese Modelle können menschlichen Agenten helfen, indem sie Vorschläge für Antworten auf Kundenanfragen machen. Das hilft den Agenten, schneller und effizienter zu arbeiten, was wichtig ist, weil die Einstellung von Agenten teuer sein kann.
Sprachmodelle können automatisch Antworten für Agenten generieren, was es einfacher macht, auf Kunden zu reagieren. Allerdings kommen diese Modelle auch mit hohen Kosten für das Training und die Nutzung. Dieser Artikel untersucht, wie Unternehmen die Kosten-Nutzen-Relation dieser Modelle und deren Einfluss auf den Kundenservice bewerten können.
Die Rolle menschlicher Agenten im Kundenservice
Trotz technologischer Fortschritte sind menschliche Agenten nach wie vor wichtig für den Kundenservice. Viele Gespräche können automatisiert werden, aber manche Situationen brauchen einen menschlichen Touch. Agenten müssen mehrere Gespräche gleichzeitig führen und benötigen oft Zugriff auf Kundenkonten und Markenrichtlinien.
Wegen der Kosten für die Anstellung von Agenten suchen Unternehmen nach effizienten Lösungen, um die Kosten zu senken und gleichzeitig die Servicequalität zu wahren. Eine Lösung ist die Nutzung von Systemen, die Agenten Vorschläge für Antworten geben, die sie bei Kundeninteraktionen verwenden können.
Überblick über Conversation Assist
LivePerson hat ein Tool namens Conversation Assist entwickelt, das Agenten hilft, indem es auf vorherige Kundeninteraktionen basierende Antworten vorschlägt. Dieses Tool beschleunigt den Antwortprozess und ermöglicht es Agenten, sich auf komplexere Anfragen zu konzentrieren.
Durch die Nutzung von Conversation Assist können Unternehmen mit kürzeren Antwortzeiten und besserer Antwortqualität rechnen. Ein gut gestaltetes Modell kann konsistente und gut strukturierte Vorschläge machen, selbst besser abschneiden als weniger erfahrene Agenten. Das kann zu erheblichen Kosteneinsparungen und höherer Kundenzufriedenheit führen.
Die Kosten und Vorteile von grossen Sprachmodellen (LLMs)
Grosse Sprachmodelle (LLMs) zeigen grosses Potenzial für Anwendungen im Kundenservice. Sie können hochwertige Antworten generieren, aber das Training und der Betrieb dieser Modelle können teuer sein. Zum Beispiel kann die Nutzung eines bestimmten Modells mehr kosten als andere, was die Gesamtausgaben eines Unternehmens beeinflusst.
Darüber hinaus verändert sich die finanzielle Landschaft rund um LLMs ständig. Verschiedene Unternehmen können einzigartige Vereinbarungen haben, die von den Standardpreisen abweichen. Mit der Weiterentwicklung der Technologie werden sich auch die Kosten für das Training und den Betrieb von LLMs ändern.
Um Unternehmen zu helfen, zu entscheiden, ob die Nutzung eines LLM sinnvoll ist, wird ein Rahmen namens Erwartete Nettokosteneinsparungen (ENCS) vorgeschlagen. Dieser Rahmen berücksichtigt die finanziellen Einsparungen, die ein Agent erzielt, indem er auf die Antwort eines Modells zugreift, abzüglich der Kosten für die Generierung dieser Antwort. Dieser Ansatz kann für jede Nachricht oder aggregiert angewendet werden.
Die Fallstudie
Um den ENCS-Rahmen anzuwenden und zu testen, wurde eine Fallstudie mit einer Marke durchgeführt. Der Fokus lag darauf, verschiedene Methoden zur Anpassung von LLMs zu nutzen und zu sehen, wie sie sich auf die Kosten und die Effizienz der Agenten auswirken. Feedback von Kundendienstagenten wurde gesammelt, um drei Strategien zu bewerten: Feinabstimmung, Prompt-Engineering und Wissensdistillation.
Die Fallstudie zeigte, dass die Nützlichkeit einer Antwort die Kosten für die Generierung dieser Antworten erheblich überwiegen kann. Diese Erkenntnis kann allgemein auf andere Unternehmen angewendet werden.
Automatisierung und menschliche Interaktion
Wenn Unternehmen mehr automatisierte Lösungen im Kundenservice implementieren, werden menschliche Agenten weiterhin eine Schlüsselrolle spielen. Während automatisierte Systeme einfache Aufgaben und allgemeine Anfragen bewältigen können, decken sie möglicherweise nicht immer komplexe Kundenanliegen ab. Menschliche Agenten können die nötige Unterstützung bieten, wenn automatisierte Systeme nicht ausreichen.
Das Ziel der meisten Organisationen ist es, ein Gleichgewicht zwischen Automatisierung und menschlichem Eingreifen zu finden. Durch den Einsatz von Tools wie Conversation Assist ermöglichen es Unternehmen den Agenten, schnell zu reagieren, während sie sicherstellen, dass Kundenanfragen effektiv gelöst werden.
Methoden zur Anpassung von Sprachmodellen
Die Fallstudie konzentrierte sich auf drei Methoden zur Anpassung von LLMs für die betreffende Marke:
Feinabstimmung
Feinabstimmung bedeutet, ein bestehendes Modell auf einem datensatzspezifischen für die Marke zu trainieren. Das hilft dem Modell, die Sprache und den Kontext zu verstehen, die einzigartig für diese Marke sind, was zu besseren, massgeschneiderten Antworten führt.
Prompt-Engineering
Prompt-Engineering erstellt spezifische Anweisungen oder Beispiele, denen das Modell folgen soll, wenn es Antworten generiert. Diese Methode kann das Modell leiten, relevantere und genauere Vorschläge zu machen und gleichzeitig den Bedarf an umfangreichem Training zu reduzieren.
Wissensdistillation
Wissensdistillation vereinfacht grössere Modelle in kleinere, effizientere Versionen. Das kann helfen, die Kosten für den Betrieb des Modells zu senken und dabei eine Leistung beizubehalten, die für die Unterstützung der Agenten nützlich ist.
Bewertung der Antwortnutzbarkeit
Um die Effektivität der Modellsuggestionen zu bewerten, wurden echte Kundendienstagenten gebeten, die Nutzbarkeit von Antworten aus verschiedenen Modellen zu beurteilen. Sie gaben an, ob sie die generierten Antworten nutzen, bearbeiten oder ignorieren würden, basierend auf ihren Erfahrungen.
Diese Bewertung führte zu wertvollen Erkenntnissen darüber, welche Modellkonfigurationen in der Praxis am besten funktionierten. Durch den Fokus auf Nutzbarkeit können Unternehmen sicherstellen, dass die Technologie, die sie implementieren, den Bedürfnissen ihrer Agenten und Kunden entspricht.
Analyse von Leistungskennzahlen
Verschiedene Kennzahlen wurden verwendet, um die Qualität der vom Modell generierten Antworten zu bewerten. Diese umfassten typischerweise Faktoren wie Sinnhaftigkeit, Spezifität und Hilfsbereitschaft. Diese Massnahmen gaben einen Überblick darüber, wie gut jedes Modell basierend auf dem Feedback der Agenten abschnitt.
Hochwertige Antworten, wie sie durch diese Kennzahlen angezeigt werden, führten zu höheren Nutzungsraten durch die Agenten. Diese Beziehung zeigt die Wichtigkeit, nicht nur die Kosten für die Generierung von Antworten zu betrachten, sondern auch den tatsächlichen Wert und die Nützlichkeit, die diese Antworten für die Kundeninteraktionen bringen.
Erwartete Nettokosteneinsparungen (ENCS)
Der ENCS-Rahmen berücksichtigt mehrere Faktoren, einschliesslich der Modellperformance, der Agentenkosten und der Kosten für die Generierung von Antworten. Dieser Ansatz ermöglicht ein klareres Bild der potenziellen Einsparungen und hilft bei der informierten Entscheidung, welche Modelle implementiert werden sollen.
Durch die Berechnung, wie viel Zeit ein Agent spart, wenn er die Antwort eines Modells verwendet, können Organisationen die finanziellen Vorteile klarer erkennen. Der Rahmen kann auch Variationen in verschiedenen Marken und deren spezifischen Bedürfnissen berücksichtigen, was ihn flexibel für verschiedene Anwendungen macht.
Die Zukunft von LLMs im Kundenservice
Die Fallstudie legt nahe, dass LLMs erhebliches Potenzial haben, den Kundenservice zu verbessern und Kosten zu sparen. Allerdings ändert sich die Landschaft schnell. Mit der Entwicklung neuer Modelle und schwankenden Kosten müssen Unternehmen anpassungsfähig bleiben und bereit sein, ihre Strategien regelmässig zu überdenken.
Sowohl interne als auch externe Lösungen haben ihre Vor- und Nachteile. Für kleinere Marken könnte die Investition in interne Modelle im Vergleich zur Flexibilität von Drittanbieterdiensten nicht machbar sein. Für grössere Unternehmen könnte jedoch die Kontrolle über Daten und Servicequalität die anfänglichen Kosten rechtfertigen.
Ethische Überlegungen
Während Technologie den Kundenservice verbessern kann, ist es wichtig, die ethischen Auswirkungen der Nutzung solcher Werkzeuge zu berücksichtigen. Sicherzustellen, dass Kundendaten privat bleiben, ist entscheidend, und Unternehmen müssen transparent darüber sein, wie sie diese Modelle nutzen.
Ausserdem besteht, obwohl die Absicht darin besteht, Effizienz und Servicequalität zu verbessern, das Potenzial, dass Automatisierung zu Stellenabbau führen könnte. Diese Auswirkungen auf menschliche Agenten müssen anerkannt und angegangen werden, um einen ausgewogenen Ansatz aufrechtzuerhalten.
Einschränkungen und Annahmen
Die Studie hat einige Einschränkungen, einschliesslich der Stichprobengrösse von Agenten und der möglichen Verzerrungen in ihrem Feedback. Das Verhalten der Agenten in kontrollierten Bewertungen kann von realen Szenarien abweichen, was beeinflussen könnte, wie oft sie von modellgenerierten Antworten Gebrauch machen.
Andere Faktoren, wie die Komplexität der Kundenanfragen oder das Training der Agenten, könnten die Gesamtwirksamkeit der Nutzung von Sprachmodellen beeinflussen. Zukünftige Studien sollten diese Bereiche weiter erkunden, um ein umfassenderes Verständnis der Nützlichkeit von LLMs im Kontext des Kundenservice zu schaffen.
Fazit
Die Integration von grossen Sprachmodellen im Kundenservice kann zu erhöhter Effizienz und erheblichen Kosteneinsparungen führen. Durch den Einsatz von Techniken wie Feinabstimmung, Prompt-Engineering und Wissensdistillation können Unternehmen diese Technologien an ihre spezifischen Bedürfnisse anpassen.
Der Rahmen der erwarteten Nettokosteneinsparungen bietet eine wertvolle Übersicht zur Bewertung der finanziellen Auswirkungen der Implementierung von LLMs im Kundenservice. Unternehmen müssen sich der sich entwickelnden Landschaft und der ethischen Überlegungen bewusst bleiben, während sie diese Fortschritte nutzen, um die Servicequalität zu verbessern.
In Zukunft sollten Organisationen Nutzbarkeit und Effektivität priorisieren, wenn sie Sprachmodelle auswählen, um sicherzustellen, dass die Technologie mit den Bedürfnissen von Agenten und Kunden übereinstimmt. So können sie die Vorteile der Automatisierung maximieren, ohne den menschlichen Touch einzubüssen, der für einen aussergewöhnlichen Kundenservice unerlässlich ist.
Titel: The economic trade-offs of large language models: A case study
Zusammenfassung: Contacting customer service via chat is a common practice. Because employing customer service agents is expensive, many companies are turning to NLP that assists human agents by auto-generating responses that can be used directly or with modifications. Large Language Models (LLMs) are a natural fit for this use case; however, their efficacy must be balanced with the cost of training and serving them. This paper assesses the practical cost and impact of LLMs for the enterprise as a function of the usefulness of the responses that they generate. We present a cost framework for evaluating an NLP model's utility for this use case and apply it to a single brand as a case study in the context of an existing agent assistance product. We compare three strategies for specializing an LLM - prompt engineering, fine-tuning, and knowledge distillation - using feedback from the brand's customer service agents. We find that the usability of a model's responses can make up for a large difference in inference cost for our case study brand, and we extrapolate our findings to the broader enterprise space.
Autoren: Kristen Howell, Gwen Christian, Pavel Fomitchov, Gitit Kehat, Julianne Marzulla, Leanne Rolston, Jadin Tredup, Ilana Zimmerman, Ethan Selfridge, Joseph Bradley
Letzte Aktualisierung: 2023-06-08 00:00:00
Sprache: English
Quell-URL: https://arxiv.org/abs/2306.07402
Quell-PDF: https://arxiv.org/pdf/2306.07402
Lizenz: https://creativecommons.org/licenses/by-sa/4.0/
Änderungen: Diese Zusammenfassung wurde mit Unterstützung von AI erstellt und kann Ungenauigkeiten enthalten. Genaue Informationen entnehmen Sie bitte den hier verlinkten Originaldokumenten.
Vielen Dank an arxiv für die Nutzung seiner Open-Access-Interoperabilität.