Détection d'intention efficace pour le support client
Un système qui améliore la détection d'intention grâce à des listes d'intentions personnalisées des clients.
― 10 min lire
Table des matières
Détecter l'intention derrière les demandes de support client, c'est super important pour un service efficace. Ça permet aux agents de comprendre rapidement les demandes et de prioriser les réponses. Il existe différentes méthodes pour identifier ces intentions, mais créer des modèles spécifiques pour chaque client ou secteur peut vite coûter cher et être impraticable quand le nombre de Clients augmente.
Cette approche présente une solution pour faire évoluer la Détection d'intention de manière efficace à travers plusieurs clients. En combinant un Modèle général avec des listes d'intentions importantes pour chaque client, on peut garder les coûts de formation et de maintenance bas tout en offrant une expérience personnalisée. Ce système peut s'adapter facilement aux changements dans les intentions pertinentes d'un client.
Les performances de ce système sont bien meilleures que celles des modèles spécifiques à une industrie, montrant sa flexibilité et sa capacité à répondre aux besoins de différents clients.
L'Importance de la Détection d'Intention
Identifier automatiquement les intentions derrière les demandes de support client est un élément clé de tout système de support efficace. Quand les agents de support savent l'intention des demandes entrantes, ils peuvent répondre plus efficacement. Par exemple, identifier les intentions permet de créer des files d'attente prioritaires, afin que les agents puissent se concentrer sur les demandes les plus urgentes en premier.
La détection d'intention aide aussi à connecter des intentions spécifiques avec des réponses automatisées ou des macros, ce qui rend le processus de support encore plus rapide. De plus, lorsqu'elle est combinée avec des outils d'analyse, l'information sur les intentions peut fournir une vue d'ensemble précieuse des activités et des demandes de support client.
Défis dans la Détection d'Intention
Le défi sur lequel on se concentre, c'est d'atteindre une détection d'intention efficace pour le support client à grande échelle. Le système doit pouvoir gérer des demandes de divers clients et secteurs. Chaque secteur, que ce soit la finance, le logiciel ou l'e-commerce, a généralement son propre ensemble d'intentions pertinentes qu'il faut catégoriser avec précision.
La détection d'intention utilise souvent des techniques d'apprentissage automatique supervisé. Ces modèles prennent en entrée le contenu des demandes, comme le sujet et le corps d'un e-mail, ainsi que d'autres informations sur l'utilisateur ou le client. Le résultat est une ou plusieurs intentions parmi une liste prédéfinie.
Une méthode pour réussir la détection d'intention à grande échelle est d'utiliser un seul modèle capable de gérer tous les clients et intentions. Ce modèle général est économique et facile à maintenir mais peut parfois produire des intentions qui ne s'appliquent pas à des clients spécifiques, ce qui diminue la confiance dans le système.
D'un autre côté, les modèles spécifiques à une industrie s'adressent aux clients d'un même secteur. Bien que cette approche offre plus de précision pour des intentions spécifiques, cela devient complexe à mesure que le nombre d'industries augmente. Assigner des clients à des industries spécifiques peut aussi être un défi, surtout pour ceux qui tombent dans plusieurs catégories.
En plus, la liste des intentions pertinentes pour les clients peut changer avec le temps. Certaines intentions peuvent devenir obsolètes, et le système doit s'adapter efficacement à ces changements. Il est donc essentiel que le système de détection d'intention reste solide, même si de nouvelles intentions apparaissent sans avertissement, pour maintenir un niveau de performance constant.
Notre Système Proposé
On propose un système avec un seul modèle général qui prend en compte à la fois le contenu des demandes et une liste des intentions pertinentes d'un client. Cette liste peut venir des données passées du client ou être définie par lui. Cela donne une vue plus claire des besoins de l'industrie du client.
En plus, on utilise une méthode de filtrage pour enlever rapidement les intentions non pertinentes pour chaque client, indépendamment des plannings de réentraînement du modèle.
Les principales contributions de ce système sont :
- Permettre aux clients d'avoir leur propre ensemble personnalisé d'intentions.
- Éliminer la nécessité de catégoriser les clients par industrie et déployer plusieurs modèles spécifiques.
- Offrir de meilleures performances par rapport à un modèle général en utilisant des listes d'intentions pertinentes comme fonctionnalités supplémentaires.
- Inclure une méthode de formation qui peut s'ajuster rapidement aux changements des intentions pertinentes pour chaque client au fil du temps.
Comprendre le Processus
On peut voir la tâche de détection d'intention comme un problème de classification, où l'objectif est de prédire une intention à partir d'une liste prédéfinie, en se basant sur certaines caractéristiques. Ces caractéristiques peuvent inclure le contenu de la demande, ainsi que des infos supplémentaires du client.
Dans le domaine du support client, différentes méthodes peuvent être utilisées pour la détection d'intention. On peut avoir des clients et des industries, avec diverses approches à appliquer. La méthode la plus simple est d'utiliser un modèle général unique qui ne prend pas en compte l'origine des demandes.
Alternativement, il y a des modèles spécifiques à l'industrie qui gèrent les demandes des clients d'un même secteur, en utilisant seulement les intentions pertinentes pour ce domaine. Chaque méthode a ses avantages et ses inconvénients. Le modèle général offre de la simplicité en termes de formation et de maintenance, tandis que les modèles spécifiques à l'industrie fournissent des résultats plus personnalisés mais viennent avec des coûts plus élevés.
Notre solution proposée combine le meilleur des deux mondes en utilisant un seul modèle général qui intègre des listes d'intentions pertinentes. Cette approche réduit efficacement le temps de formation, le temps de déploiement, et les coûts globaux tout en s'assurant que le modèle délivre des résultats précis pour chaque client.
Architecture du Modèle
On utilise un encodeur transformer connu sous le nom de XLM-RoBERTa pour traiter le contenu des demandes. Ce choix est fait car il peut gérer plusieurs langues, ce qui est essentiel dans des situations de support client.
La partie classification de notre modèle prend en compte la liste des intentions pertinentes, ce qui mène à des prédictions plus personnalisées. Le modèle est structuré de manière à combiner le contenu de la demande et la liste des intentions pertinentes pour améliorer la précision.
Configuration Expérimentale
Les expériences utilisent un ensemble de données interne composé de véritables demandes de clients. L'entrée pour les modèles inclut le sujet et la description des demandes. Cet ensemble de données comprend des demandes en neuf langues différentes et couvre 683 intentions différentes de support client.
Pour préparer l'ensemble de données pour l'entraînement et l'évaluation, on utilise une méthode appelée échantillonnage stratifié. Cela maintient la proportion de chaque intention tout en assignant une portion à l'ensemble de validation. On crée aussi des ensembles de données distincts pour différentes industries, contenant seulement des demandes pertinentes à ces secteurs.
Évaluation des Performances
On compare le modèle général avec des modèles spécifiques à l'industrie pour voir lequel performe mieux. L'objectif est de montrer qu'un modèle unique peut gérer efficacement les demandes de diverses industries.
En entraînant des modèles spécifiques à des secteurs comme le logiciel, l'e-commerce et la finance, on constate que le modèle général se défend bien contre eux, affichant seulement de légères baisses dans certains domaines. Cela soutient l'idée qu'un modèle général peut gérer efficacement les tâches de détection d'intention.
L'Impact des Listes d'Intentions Pertinentes
Inclure des listes d'intentions pertinentes améliore les performances du modèle. Cependant, ces listes peuvent changer, donc le modèle doit s'adapter sans nécessiter un réentraînement constant.
Pour mesurer cela, on entraîne des modèles avec différents niveaux de couverture des intentions pertinentes. On évalue les performances en fonction de différents scénarios, comme lorsque les clients ajoutent ou suppriment des intentions au fil du temps. On constate que les modèles utilisant des listes d'intentions pertinentes performent généralement mieux que ceux qui n'en ont pas, démontrant que cette approche garde la capacité de s'adapter aux changements tout en maintenant de hautes performances.
Gestion des Changements dans les Listes d'Intentions
Pour améliorer la résistance du modèle face aux changements dans les intentions pertinentes, on introduit du bruit synthétique pendant l'entraînement. Cela signifie que pendant l'entraînement, le modèle est exposé à différentes listes pour le même client, l'aidant à devenir plus flexible face aux changements réels.
Dans nos tests, les modèles entraînés avec de petites quantités de bruit montrent les meilleures performances. Ils parviennent à rester fiables même en cas de changements dans les listes d'intentions. Cependant, les modèles entraînés avec trop de bruit ne performent pas aussi bien, indiquant que l'équilibre est crucial.
Évaluation de la Performance Hors-Domaine
On évalue aussi comment nos modèles performent avec des données de clients qui n'ont pas fait partie du processus d'entraînement. Cela nous aide à comprendre comment le modèle généralise à de nouveaux scénarios.
En résumé, nos résultats montrent que les modèles qui prennent en compte des listes d'intentions pertinentes performent mieux dans divers contextes, même lorsqu'ils traitent avec des clients en dehors de leurs données d'entraînement. Cela illustre la capacité du modèle à généraliser et à gérer efficacement différentes situations.
Conclusion
On a développé un nouveau système pour détecter les intentions de support client qui s'adapte bien au nombre de clients. En utilisant un modèle général unique avec une liste d'intentions pertinentes pour chaque client, on a réduit la complexité et les coûts.
Cette approche permet non seulement une maintenance plus facile mais aussi de personnaliser le service pour répondre aux besoins des clients. Le système résultant surpasse à la fois les modèles spécifiques à l'industrie et les modèles génériques, prouvant que notre méthode exploite efficacement les intentions pertinentes pour améliorer la précision de classification.
Notre travail démontre le potentiel d'utiliser des listes d'intentions pertinentes comme des informations précieuses pour la détection d'intention, assurant que le modèle est robuste et adaptable dans un environnement dynamique.
Titre: Intent Detection at Scale: Tuning a Generic Model using Relevant Intents
Résumé: Accurately predicting the intent of customer support requests is vital for efficient support systems, enabling agents to quickly understand messages and prioritize responses accordingly. While different approaches exist for intent detection, maintaining separate client-specific or industry-specific models can be costly and impractical as the client base expands. This work proposes a system to scale intent predictions to various clients effectively, by combining a single generic model with a per-client list of relevant intents. Our approach minimizes training and maintenance costs while providing a personalized experience for clients, allowing for seamless adaptation to changes in their relevant intents. Furthermore, we propose a strategy for using the clients relevant intents as model features that proves to be resilient to changes in the relevant intents of clients -- a common occurrence in production environments. The final system exhibits significantly superior performance compared to industry-specific models, showcasing its flexibility and ability to cater to diverse client needs.
Auteurs: Nichal Narotamo, David Aparicio, Tiago Mesquita, Mariana Almeida
Dernière mise à jour: 2023-09-15 00:00:00
Langue: English
Source URL: https://arxiv.org/abs/2309.08647
Source PDF: https://arxiv.org/pdf/2309.08647
Licence: https://creativecommons.org/licenses/by/4.0/
Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.
Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.
Liens de référence
- https://zendesk.atlassian.net/wiki/spaces/DS/pages/5116632059/Intent+Detection
- https://docs.google.com/presentation/d/1VVG8FlSvFltADgKnkwkXPKvbOCqC7SI7juBCpXbyL2w/edit#slide=id.g24bd648472e_0_0
- https://docs.google.com/presentation/d/1391F182Gb5sIqkwUtn_vViwn_7wjt48EjaxgWEPHS0Y/edit#slide=id.g21cd9653d91_0_0
- https://zendesk.atlassian.net/wiki/spaces/DS/pages/5786436561/Generic+vs+Industry+specific+Overall+results
- https://zendesk.atlassian.net/wiki/spaces/DS/pages/5733977303/Generic+model+with+top+intents
- https://zendesk.atlassian.net/wiki/spaces/DS/pages/5785028505/Generic+model+with+top+intents+-+inserting+noise+into+lists
- https://zendesk.atlassian.net/wiki/spaces/DS/pages/5785256481/Generic+model+with+top+intents+-+evaluation+on+out-of-domain+clients
- https://arxiv.org/pdf/1902.10909v1.pdf
- https://arxiv.org/pdf/2111.02705.pdf