Améliorer le service client avec des modèles de langage
Découvrez comment les modèles de langage améliorent l'efficacité du service client et réduisent les coûts.
― 10 min lire
Table des matières
- Le Rôle des Agents Humains dans le Service Client
- Aperçu de Conversation Assist
- Les Coûts et Bénéfices des Grands Modèles de Langage (LLMs)
- L'Étude de Cas
- Automatisation et Interaction Humaine
- Méthodes de Personnalisation des Modèles de Langage
- Évaluation de l'Utilisabilité des Réponses
- Analyse des Métriques de Performance
- Économies de Coût Net Attendu (ENCS)
- L'Avenir des LLMs dans le Service Client
- Considérations Éthiques
- Limitations et Hypothèses
- Conclusion
- Source originale
- Liens de référence
Le service client est super important pour beaucoup d'entreprises, et les sociétés cherchent souvent des moyens d'améliorer ce service tout en économisant des sous. Une méthode consiste à utiliser des modèles de langage. Ces modèles peuvent aider les agents humains en suggérant des réponses aux questions des clients. Ça permet aux agents de travailler plus vite et plus efficacement, ce qui est crucial car embaucher des agents peut coûter cher.
Les modèles de langage peuvent générer automatiquement des réponses pour les agents, rendant plus facile le fait de répondre aux clients. Cependant, même si ces modèles peuvent être utiles, ils engendrent aussi des coûts élevés liés à leur entraînement et leur utilisation. Cet article explore comment les entreprises peuvent évaluer la rentabilité de ces modèles et leur impact sur le service client.
Le Rôle des Agents Humains dans le Service Client
Même avec les avancées technologiques, les agents humains restent essentiels pour fournir un bon service client. Beaucoup de conversations peuvent être automatisées, mais certaines situations nécessitent une touche humaine. Les agents doivent gérer plusieurs conversations et ont souvent besoin d'accéder aux comptes clients et aux politiques de la marque.
À cause du coût d’embauche d’agents, les entreprises cherchent des solutions efficaces pour réduire les coûts tout en maintenant la qualité du service. Une solution consiste à utiliser des systèmes qui suggèrent des réponses que les agents peuvent utiliser lors des interactions avec les clients.
Aperçu de Conversation Assist
LivePerson a développé un outil appelé Conversation Assist, qui aide les agents en suggérant des réponses basées sur des interactions précédentes avec des clients. Cet outil accélère le processus de réponse et permet aux agents de se concentrer sur des questions plus complexes.
En utilisant Conversation Assist, les entreprises peuvent s'attendre à des temps de réponse réduits et à une meilleure qualité de réponse. Un modèle bien conçu peut fournir des suggestions cohérentes et bien structurées, surpassant même des agents moins expérimentés. Cela peut entraîner des économies de coûts significatives et une satisfaction client accrue.
Les Coûts et Bénéfices des Grands Modèles de Langage (LLMs)
Les Grands Modèles de Langage (LLMs) montrent un grand potentiel pour les applications de service client. Ils peuvent générer des réponses de haute qualité, mais l'entraînement et l'exploitation de ces modèles peuvent être coûteux. Par exemple, utiliser un modèle spécifique peut coûter plus cher que d'autres, ce qui influe sur les dépenses globales d’une entreprise.
De plus, la situation financière autour des LLMs évolue constamment. Différentes entreprises peuvent avoir des accords uniques qui diffèrent des prix standard. À mesure que la technologie évolue, les coûts liés à l'entraînement et à l'utilisation des LLMs changeront aussi.
Pour aider les entreprises à déterminer si l'utilisation d'un LLM en vaut la peine, un cadre appelé Économies de Coût Net Attendu (ENCS) est proposé. Ce cadre tient compte des économies financières d'un agent utilisant une réponse de modèle moins le coût de génération de cette réponse. Cette approche peut être appliquée sur une base message par message ou de manière agrégée.
L'Étude de Cas
Pour appliquer et tester le cadre ENCS, une étude de cas a été réalisée avec une marque. L'accent était mis sur l'utilisation de diverses méthodes pour personnaliser les LLMs et voir comment cela impactait les coûts et l'efficacité des agents. Des retours d'agents de service client ont été collectés pour évaluer trois stratégies : fine-tuning, Ingénierie des prompts et distillation des connaissances.
L'étude de cas a montré que l'utilité d'une réponse peut largement dépasser les différences de coût de génération de ces réponses. Cette découverte peut être appliquée de manière générale à d'autres entreprises.
Automatisation et Interaction Humaine
Alors que les entreprises mettent en œuvre des solutions automatisées dans le service client, les agents humains joueront toujours un rôle clé. Bien que les systèmes automatisés puissent gérer des tâches simples et des questions générales, ils ne font pas toujours face à des préoccupations clients complexes. Les agents humains peuvent fournir le soutien nécessaire quand les systèmes automatisés ne suffisent pas.
L'objectif pour la plupart des organisations est de trouver un équilibre entre automatisation et intervention humaine. En utilisant des outils comme Conversation Assist, les entreprises permettent aux agents de répondre vite tout en s'assurant que les inquiétudes des clients sont résolues efficacement.
Méthodes de Personnalisation des Modèles de Langage
L'étude de cas s'est concentrée sur trois méthodes pour adapter les LLMs à la marque en question :
Fine-tuning
Le fine-tuning consiste à entraîner un modèle existant sur un ensemble de données spécifique à la marque. Cela aide le modèle à comprendre le langage et le contexte qui sont uniques à cette marque, entraînant des réponses plus pertinentes et sur mesure.
Ingénierie des Prompts
L'ingénierie des prompts crée des instructions ou des exemples spécifiques que le modèle doit suivre lors de la génération de réponses. Cette méthode peut guider le modèle pour produire des suggestions plus pertinentes et précises tout en réduisant le besoin d'un entraînement intensif.
Distillation des Connaissances
La distillation des connaissances simplifie les modèles plus grands en versions plus petites et plus efficaces. Cela peut aider à réduire le coût de fonctionnement du modèle tout en maintenant un niveau de performance encore utile pour le soutien aux agents.
Évaluation de l'Utilisabilité des Réponses
Pour évaluer l'efficacité des suggestions du modèle, de vrais agents de service client ont été invités à évaluer l'utilisabilité des réponses de différents modèles. Ils ont indiqué s'ils utiliseraient, modifieraient ou ignoreraient les réponses générées en fonction de leurs expériences.
Cette évaluation a conduit à des aperçus précieux concernant les configurations de modèles qui fonctionnaient le mieux en pratique. En mettant l'accent sur l'utilisabilité, les entreprises peuvent s'assurer que la technologie qu'elles mettent en œuvre répond aux besoins de leurs agents et clients.
Analyse des Métriques de Performance
Une variété de métriques a été utilisée pour évaluer la qualité des réponses générées par les modèles. Celles-ci incluent généralement des facteurs comme la sensibilité, la spécificité et l'utilité. Ces mesures ont donné un aperçu de la performance de chaque modèle basée sur les retours des agents.
Des réponses de meilleure qualité, comme l'indiquent ces métriques, ont conduit à une augmentation des taux d'utilisation par les agents. Cette relation souligne l'importance de ne pas seulement se concentrer sur le coût de génération des réponses, mais aussi de considérer la valeur et l'utilité réelles que ces réponses apportent aux interactions avec les clients.
Économies de Coût Net Attendu (ENCS)
Le cadre ENCS intègre plusieurs facteurs, y compris la performance du modèle, le coût des agents et les coûts liés à la génération de réponses. Cette approche permet d’avoir une vision plus claire des économies potentielles et aide à prendre des décisions éclairées sur les modèles à mettre en œuvre.
En calculant combien de temps un agent gagne en utilisant la réponse d'un modèle, les organisations peuvent voir plus clairement les avantages financiers. Le cadre peut aussi tenir compte des variations dans différentes marques et leurs besoins spécifiques, le rendant flexible pour diverses applications.
L'Avenir des LLMs dans le Service Client
L'étude de cas suggère que les LLMs ont un potentiel significatif pour améliorer le service client tout en offrant des économies de coûts. Cependant, la situation évolue rapidement. À mesure que de nouveaux modèles sont développés et que les coûts fluctuent, les entreprises doivent rester adaptables et prêtes à réévaluer régulièrement leurs stratégies.
Les solutions internes et tierces ont leurs avantages et inconvénients. Pour les petites marques, l'investissement dans des modèles internes peut ne pas être faisable comparé à la flexibilité que les services tiers offrent. Cependant, pour les grandes entreprises, la capacité à contrôler les données et la qualité de service pourrait justifier les coûts initiaux.
Considérations Éthiques
Bien que la technologie puisse améliorer le service client, il est important de considérer les implications éthiques de l'utilisation de tels outils. Assurer que les données des clients restent privées est crucial, et les entreprises doivent être transparentes sur la façon dont elles utilisent ces modèles.
De plus, bien que l'intention soit d'améliorer l'efficacité et la qualité du service, il y a un potentiel que l'automatisation puisse entraîner des réductions de personnel. Cet impact sur les agents humains doit être reconnu et abordé pour maintenir une approche équilibrée.
Limitations et Hypothèses
L'étude a certaines limitations, y compris la taille de l'échantillon d'agents et les biais potentiels dans leurs retours. Le comportement des agents lors d'évaluations contrôlées peut différer des scénarios réels, ce qui pourrait affecter la fréquence à laquelle ils utilisent les réponses générées par modèles.
D'autres facteurs, comme la complexité des demandes des clients ou la formation des agents, pourraient influencer l'efficacité globale de l'utilisation des modèles de langage. De futures études devraient explorer ces domaines plus en détail pour créer une compréhension plus complète de l'utilité des LLMs dans les contextes de service client.
Conclusion
L'intégration des grands modèles de langage dans le service client peut mener à une efficacité accrue et à des économies significatives. En utilisant des techniques comme le fine-tuning, l'ingénierie des prompts et la distillation des connaissances, les entreprises peuvent adapter ces technologies à leurs besoins spécifiques.
Le cadre d'économies de coût net attendu fournit une outline précieuse pour évaluer l'impact financier de l'implémentation des LLMs dans le service client. Les entreprises doivent rester vigilantes face à l'évolution du paysage et aux considérations éthiques tout en tirant parti de ces avancées pour améliorer la qualité du service.
À l'avenir, les organisations devraient prioriser l'utilisabilité et l'efficacité lorsqu'elles sélectionnent des modèles de langage, en s'assurant que la technologie s'aligne avec les besoins des agents et des clients. Ce faisant, elles peuvent maximiser les avantages de l'automatisation sans compromettre la touche humaine essentielle pour un service client exceptionnel.
Titre: The economic trade-offs of large language models: A case study
Résumé: Contacting customer service via chat is a common practice. Because employing customer service agents is expensive, many companies are turning to NLP that assists human agents by auto-generating responses that can be used directly or with modifications. Large Language Models (LLMs) are a natural fit for this use case; however, their efficacy must be balanced with the cost of training and serving them. This paper assesses the practical cost and impact of LLMs for the enterprise as a function of the usefulness of the responses that they generate. We present a cost framework for evaluating an NLP model's utility for this use case and apply it to a single brand as a case study in the context of an existing agent assistance product. We compare three strategies for specializing an LLM - prompt engineering, fine-tuning, and knowledge distillation - using feedback from the brand's customer service agents. We find that the usability of a model's responses can make up for a large difference in inference cost for our case study brand, and we extrapolate our findings to the broader enterprise space.
Auteurs: Kristen Howell, Gwen Christian, Pavel Fomitchov, Gitit Kehat, Julianne Marzulla, Leanne Rolston, Jadin Tredup, Ilana Zimmerman, Ethan Selfridge, Joseph Bradley
Dernière mise à jour: 2023-06-08 00:00:00
Langue: English
Source URL: https://arxiv.org/abs/2306.07402
Source PDF: https://arxiv.org/pdf/2306.07402
Licence: https://creativecommons.org/licenses/by-sa/4.0/
Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.
Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.