Ottimizzare le previsioni di soddisfazione dei clienti nei call center
Nuovo metodo migliora la previsione dei punteggi di soddisfazione dei clienti nei call center.
Etienne Manderscheid, Matthias Lee
― 7 leggere min
Indice
- Impostare la Scena
- La Sfida del Feedback dei Clienti
- Cosa C'è in Giro?
- Replicare la Distribuzione delle Classi
- Costruire il Modello
- Raccolta Dati
- La Magia dell'Ottimizzazione delle Soglie
- Come Abbiamo Testato
- Risultati e Osservazioni
- Affinamento per Diversi Centri
- Considerazioni Etiche
- Conclusione
- Fonte originale
- Link di riferimento
La Soddisfazione del cliente (CSAT) è fondamentale per i call center. È come una stella d'oro che mostra quanto stanno andando bene. Ma c'è un problema: solo un piccolo numero di clienti compila effettivamente un sondaggio CSAT dopo la loro chiamata. Parliamo di circa l'8% in alcuni casi. Questo tasso di risposta non eccezionale può rendere difficile per i call center capire quanto i loro clienti siano davvero felici. Perdere Feedback significa che potrebbero saltare alcune opportunità chiave per migliorare il loro servizio.
Per affrontare questo problema, i call center potrebbero voler usare un modello che preveda quanto è soddisfatto un cliente, anche se non compila il sondaggio. Dato che il CSAT è così importante, è fondamentale assicurarsi che queste previsioni siano il più accurate possibile. Qui entra in gioco la nostra ricerca. Abbiamo creato un metodo per garantire che questi punteggi di soddisfazione del cliente previsti, o pCSAT, corrispondano da vicino ai risultati reali del sondaggio.
Impostare la Scena
Non è raro che i sistemi di machine learning vengano aggiornati. La parte difficile è che questi aggiornamenti possono cambiare l'equilibrio dei risultati. Ad esempio, se troppi punteggi previsti sono alti o bassi, potrebbe rovinare l'immagine complessiva. Per rimediare a questo, abbiamo creato un processo di controllo che aiuta a mantenere questi punteggi sotto controllo, specialmente quando c'è molto rumore di campionamento (pensa a un po' di statico alla radio).
Nei nostri risultati, i punteggi medi di CSAT possono variare notevolmente se non tutti rispondono. Se solo una piccola frazione di clienti fornisce feedback, e gli altri? Prevedere la soddisfazione per tutte le chiamate può aiutare a ottenere un quadro più chiaro.
La Sfida del Feedback dei Clienti
Diciamocelo, sappiamo tutti che i sondaggi possono sembrare noiosi. Quando i clienti non rispondono, le loro opinioni restano un mistero. Prevedere la soddisfazione dei clienti per ogni chiamata potrebbe aiutare a smussare questi angoli. Il nostro documento offre un nuovo modo di prevedere questi punteggi senza introdurre pregiudizi.
Cosa C'è in Giro?
Nel mondo del machine learning, prevedere la soddisfazione del cliente ha ricevuto molta attenzione. Studi hanno mostrato diversi modi di affrontare questo problema, ma spesso faticano a mantenere la vera distribuzione dei risultati dei sondaggi. Abbiamo esaminato da vicino le ricerche precedenti per capire i loro metodi e vedere dove possiamo migliorare.
Alcuni ricercatori hanno usato sistemi di trascrizione automatica per analizzare le trascrizioni delle chiamate, insieme a dati non testuali, per creare punteggi di soddisfazione. Altri hanno esaminato come le caratteristiche acustiche aiutino a prevedere la soddisfazione. Il nostro approccio si basa su lavori precedenti, permettendoci di migliorare l'accuratezza nella previsione dei punteggi di CSAT basati sulle trascrizioni delle chiamate.
Replicare la Distribuzione delle Classi
La parte interessante del nostro metodo involve garantire che i punteggi previsti imitino da vicino le reali risposte del sondaggio. Dobbiamo assicurarci che diversi livelli di soddisfazione siano rappresentati accuratamente, così nessuno si sente escluso.
Nel mondo del machine learning, ci sono modi per gestire dati sbilanciati. Tecniche come il ri-campionamento e l'aggiustamento delle soglie possono migliorare il modo in cui le classi sono rappresentate. Tuttavia, questi metodi spesso non aiutano molto quando si tratta di ottenere una corrispondenza esatta con i dati dei sondaggi. Per ottenere previsioni specifiche e utili, abbiamo dovuto ottimizzare le soglie decisionali. Questo significa fare previsioni accurate mantenendo intatta l'ordinazione naturale dei livelli di soddisfazione.
Costruire il Modello
Per creare le nostre previsioni, abbiamo usato un modello di linguaggio ampio (LLM) addestrato sulle trascrizioni delle chiamate. Questo modello fornisce output binari: soddisfazione alta o bassa. Utilizziamo quindi le probabilità di questo modello per fornire i nostri punteggi pCSAT. Impostando con attenzione le soglie decisionali, possiamo tradurre accuratamente queste probabilità su una scala da 1 a 5.
I requisiti del nostro prodotto sono chiari: garantire che la media dei pCSAT sia allineata con la media del CSAT del sondaggio. Non vogliamo che ci siano discrepancies folli.
Raccolta Dati
Ci siamo affidati alle trascrizioni del nostro motore di Riconoscimento Automatico della Voce, che vanta un solido tasso di accuratezza. Abbiamo analizzato circa 892.000 chiamate con punteggi di soddisfazione noti. Per assicurarci di non essere solo fortunati, abbiamo effettuato i nostri test più volte in diverse condizioni.
Abbiamo anche fatto in modo di escludere i call center con troppe poche risposte. Questo ci aiuta a evitare errori non necessari causati dal rumore di campionamento e ci consente di concentrarci sui centri con un buon numero di feedback.
La Magia dell'Ottimizzazione delle Soglie
Il nostro modello utilizza una funzione di mapping che prende una bassa probabilità di soddisfazione come input e produce un punteggio su una scala da 1 a 5. Il mapping consiste in soglie decisionali che separano i diversi livelli di soddisfazione. Stimando queste soglie, possiamo trovare il punto ideale per minimizzare gli errori bilanciando le esigenze dei diversi call center.
Come Abbiamo Testato
Abbiamo messo il nostro modello alla prova in diversi scenari per vedere quanto bene si comportava. Nei primi test, abbiamo esaminato i livelli di soddisfazione medi. Dopo aver confrontato le nostre previsioni con i risultati reali dei sondaggi, abbiamo visto dove potevamo migliorare.
Per i centri con molte risposte, abbiamo notato una tendenza: più feedback avevamo, più accurate diventavano le nostre previsioni. Questo ha senso; meno feedback significa più rumore, il che può confondere le previsioni.
Risultati e Osservazioni
In generale, i nostri test hanno rivelato che il metodo che abbiamo ideato è stato efficace nel prevedere la soddisfazione del cliente. I tassi di perdita variavano in base ai volumi di risposta dei call center. Era chiaro che per i centri con meno risposte, il nostro modello faticava di più. Tuttavia, per i centri con una quantità decente di feedback, abbiamo ottenuto risultati impressionanti.
Affinamento per Diversi Centri
Abbiamo appreso che un approccio ibrido potrebbe essere vantaggioso. Per i call center con meno di 200 risposte, potremmo usare un metodo, mentre ci appoggiamo a un altro per quelli più grandi. Questa strategia assicura che stiamo facendo le previsioni più accurate possibile, indipendentemente da quanti clienti si prendano il tempo di rispondere.
Considerazioni Etiche
Durante lo sviluppo di questo metodo, l'etica è stata al centro dei nostri pensieri. Vogliamo garantire equità e trasparenza nel nostro approccio.
Consideriamo attivamente il pregiudizio nelle nostre previsioni, utilizzando diversi metodi per valutare gruppi di utenti. Il nostro impegno per la trasparenza significa che abbiamo documentato chiaramente i nostri processi e risultati, aiutando tutti a capire come siamo arrivati alle nostre conclusioni.
Nello spirito di completa trasparenza, seguiamo rigide normative sulla privacy dei dati, assicurandoci che qualsiasi dato del cliente che utilizziamo sia anonimo. Ci assicuriamo anche di rimuovere qualsiasi informazione personale per proteggere la privacy individuale.
Conclusione
Migliorando i nostri metodi di previsione della soddisfazione del cliente nei call center, miriamo ad aiutare le aziende a prendere decisioni migliori per coaching e follow-up. Questo, a sua volta, porta a clienti più felici e a una migliore performance generale per i call center.
Quindi la prossima volta che ricevi una chiamata e ti chiedono di valutare la tua soddisfazione su una scala da 1 a 5, ricorda: quel feedback conta, anche se non ti va di compilare il sondaggio. I tuoi pensieri aiutano a plasmare come i call center possono migliorare, rendendo la tua prossima chiamata un po' migliore.
In fin dei conti, stiamo solo cercando di tenere tutti i clienti sorridenti-non è un compito facile, ma ci siamo!
Titolo: Predicting Customer Satisfaction by Replicating the Survey Response Distribution
Estratto: For many call centers, customer satisfaction (CSAT) is a key performance indicator (KPI). However, only a fraction of customers take the CSAT survey after the call, leading to a biased and inaccurate average CSAT value, and missed opportunities for coaching, follow-up, and rectification. Therefore, call centers can benefit from a model predicting customer satisfaction on calls where the customer did not complete the survey. Given that CSAT is a closely monitored KPI, it is critical to minimize any bias in the average predicted CSAT (pCSAT). In this paper, we introduce a method such that predicted CSAT (pCSAT) scores accurately replicate the distribution of survey CSAT responses for every call center with sufficient data in a live production environment. The method can be applied to many multiclass classification problems to improve the class balance and minimize its changes upon model updates.
Autori: Etienne Manderscheid, Matthias Lee
Ultimo aggiornamento: 2024-11-19 00:00:00
Lingua: English
URL di origine: https://arxiv.org/abs/2411.12539
Fonte PDF: https://arxiv.org/pdf/2411.12539
Licenza: https://creativecommons.org/licenses/by-nc-sa/4.0/
Modifiche: Questa sintesi è stata creata con l'assistenza di AI e potrebbe presentare delle imprecisioni. Per informazioni accurate, consultare i documenti originali collegati qui.
Si ringrazia arxiv per l'utilizzo della sua interoperabilità ad accesso aperto.