Optimizando Predicciones de Satisfacción del Cliente en Call Centers
Nuevo método mejora la predicción de la satisfacción del cliente en los centros de llamadas.
Etienne Manderscheid, Matthias Lee
― 7 minilectura
Tabla de contenidos
- Estableciendo el Contexto
- El Desafío de la Retroalimentación del Cliente
- ¿Qué Hay Fuera?
- Replicando la Distribución de Clases
- Construyendo el Modelo
- Reuniendo Datos
- La Magia de la Optimización de Umbrales
- Cómo Probamos
- Resultados y Observaciones
- Ajustando para Diferentes Centros
- Consideraciones Éticas
- Conclusión
- Fuente original
- Enlaces de referencia
La Satisfacción del cliente (CSAT) es súper importante para los centros de llamadas. Es como la estrellita dorada que muestra lo bien que lo están haciendo. Pero aquí está el problema: solo un pequeño número de clientes realmente llena una encuesta de CSAT después de su llamada. Estamos hablando de alrededor del 8% en algunos casos. Esta tasa de respuesta no tan buena puede dificultar que los centros de llamadas sepan cuán felices están realmente sus clientes. No recibir retroalimentación significa que pueden perder oportunidades clave para mejorar su servicio.
Para solucionar este problema, los centros de llamadas podrían querer usar un modelo que prediga cuán satisfecho está un cliente, incluso si no llena la encuesta. Dado que el CSAT es tan importante, es vital asegurarse de que estas predicciones sean lo más precisas posible. Aquí es donde entra nuestra investigación. Hemos ideado un método para asegurarnos de que estas puntuaciones de satisfacción del cliente predichas, o pCSAT, se asemejen mucho a los resultados de las encuestas reales.
Estableciendo el Contexto
No es raro que los sistemas de aprendizaje automático se actualicen. La parte complicada es que estas actualizaciones pueden cambiar el equilibrio de los resultados. Por ejemplo, si demasiadas puntuaciones predichas son altas o bajas, podría desajustar la imagen general. Para solucionar esto, creamos un proceso de control que ayuda a mantener estas puntuaciones bajo control, especialmente cuando hay mucho ruido de muestreo (piensa en ello como estática en la radio).
En nuestros hallazgos, las puntuaciones promedio de CSAT pueden variar drásticamente si no todos responden. Si solo una pequeña fracción de los clientes da su opinión, ¿y el resto? Predecir la satisfacción para todas las llamadas puede ayudar a tener una imagen más clara.
El Desafío de la Retroalimentación del Cliente
Seamos sinceros, todos sabemos que las encuestas pueden parecer tediosas. Cuando los clientes no responden, sus opiniones quedan en el aire. Predecir la satisfacción del cliente para cada llamada podría ayudar a suavizar esos bordes ásperos. Nuestro documento ofrece una nueva forma de predecir estas puntuaciones sin introducir sesgos.
¿Qué Hay Fuera?
En el mundo del aprendizaje automático, predecir la satisfacción del cliente ha ganado bastante atención. Los estudios han mostrado diferentes formas de abordar este problema, pero muchas veces les cuesta mantener la verdadera distribución de los resultados de las encuestas. Nos fijamos más de cerca en investigaciones anteriores para entender sus métodos y ver dónde podríamos hacerlo mejor.
Algunos investigadores han utilizado sistemas de transcripción automática para analizar las transcripciones de llamadas, junto con datos no textuales, para crear puntuaciones de satisfacción. Otros han observado cómo las características acústicas ayudan a predecir la satisfacción. Nuestro enfoque se basa en trabajos anteriores, permitiéndonos mejorar la precisión de las predicciones de las puntuaciones CSAT basadas en las transcripciones de llamadas.
Replicando la Distribución de Clases
La parte genial de nuestro método implica asegurarnos de que las puntuaciones predichas imiten de cerca las respuestas reales de las encuestas. Necesitamos asegurarnos de que diferentes niveles de satisfacción se representen con precisión, para que nadie se sienta excluido.
En el mundo del aprendizaje automático, existen formas de manejar datos desequilibrados. Técnicas como el re-muestreo y el ajuste de umbrales pueden mejorar cómo se representan las clases. Sin embargo, estos métodos a menudo no ayudan mucho cuando se trata de lograr una coincidencia exacta con los datos de la encuesta. Para obtener predicciones específicas y útiles, tuvimos que optimizar los umbrales de decisión. Esto significa hacer predicciones precisas mientras mantenemos el orden natural de los niveles de satisfacción.
Construyendo el Modelo
Para crear nuestras predicciones, usamos un modelo de lenguaje grande (LLM) entrenado en transcripciones de llamadas. Este modelo proporciona salidas binarias: satisfacción alta o baja. Luego usamos probabilidades de este modelo para outputear nuestras puntuaciones de pCSAT. Al establecer cuidadosamente los umbrales de decisión, podemos traducir con precisión estas probabilidades en una escala del 1 al 5.
Nuestros requisitos del producto son claros: asegurarnos de que el pCSAT promedio se alinee con el CSAT promedio de la encuesta. No queremos discrepancias salvajes.
Reuniendo Datos
Nos basamos en transcripciones de nuestro motor de Reconocimiento Automático de Voz, que tiene una tasa de precisión sólida. Analizamos alrededor de 892,000 llamadas con puntuaciones de satisfacción conocidas. Para asegurarnos de que no solo tuviéramos suerte, realizamos nuestras pruebas varias veces en diferentes condiciones.
También nos aseguramos de excluir centros de llamadas con muy pocas respuestas. Esto nos ayuda a evitar errores innecesarios causados por ruido de muestreo y nos permite enfocarnos en centros con buena cantidad de retroalimentación.
La Magia de la Optimización de Umbrales
Nuestro modelo utiliza una función de mapeo que toma una probabilidad de satisfacción baja como entrada y produce una puntuación en una escala del 1 al 5. El mapeo consta de umbrales de decisión que separan diferentes niveles de satisfacción. Al estimar estos umbrales, podemos encontrar el punto óptimo para minimizar errores mientras equilibramos las necesidades de diferentes centros de llamadas.
Cómo Probamos
Ejecutamos nuestro modelo en diferentes escenarios para ver qué tan bien funcionaba. En las primeras pruebas, observamos los niveles promedio de satisfacción. Después de comparar nuestras predicciones con los resultados reales de las encuestas, vimos dónde podíamos mejorar.
Para los centros con muchas respuestas, notamos una tendencia: cuanto más feedback teníamos, más precisas se volvían nuestras predicciones. Esto tiene sentido; menos feedback significa más ruido, lo que puede confundir las predicciones.
Resultados y Observaciones
En general, nuestras pruebas revelaron que el método que ideamos fue efectivo para predecir la satisfacción del cliente. Las tasas de pérdida variaron según los volúmenes de respuesta de los centros de llamadas. Era claro que para los centros con menos respuestas, nuestro modelo tenía más dificultades. Aún así, para los centros con una cantidad decente de retroalimentación, logramos resultados impresionantes.
Ajustando para Diferentes Centros
Aprendimos que un enfoque híbrido podría ser beneficioso. Para los centros de llamadas con menos de 200 respuestas, podríamos usar un método, mientras que confiaríamos en otro para centros más grandes. Esta estrategia asegura que estamos haciendo las predicciones más precisas posibles, sin importar cuántos clientes tomen el tiempo para responder.
Consideraciones Éticas
A medida que desarrollamos este método, la ética estuvo en el centro de nuestras mentes. Queremos asegurarnos de que haya equidad y transparencia en nuestro enfoque.
Consideramos activamente el sesgo en nuestras predicciones, utilizando diferentes métodos para evaluar grupos de usuarios. Nuestro compromiso con la transparencia significa que hemos documentado claramente nuestros procesos y hallazgos, ayudando a todos a entender cómo llegamos a nuestros resultados.
En el espíritu de la plena divulgación, seguimos regulaciones estrictas de privacidad de datos, asegurando que cualquier dato del cliente que usamos sea anonimizado. También nos aseguramos de eliminar cualquier información personal para proteger la privacidad individual.
Conclusión
Al mejorar nuestros métodos de Predicción de la satisfacción del cliente en los centros de llamadas, buscamos ayudar a las empresas a tomar mejores decisiones para capacitación y seguimientos. Esto, a su vez, conduce a clientes más felices y un mejor desempeño general para los centros de llamadas.
Así que la próxima vez que recibas una llamada y alguien te pida que califiques tu satisfacción en una escala del 1 al 5, recuerda: esa retroalimentación importa, incluso si no tienes ganas de llenar la encuesta. Tus pensamientos ayudan a dar forma a cómo los centros de llamadas pueden mejorar, haciendo tu próxima llamada un poco mejor.
Al final, solo estamos tratando de mantener a todos los clientes sonriendo, ¡no es una tarea fácil, pero estamos aquí para ello!
Título: Predicting Customer Satisfaction by Replicating the Survey Response Distribution
Resumen: For many call centers, customer satisfaction (CSAT) is a key performance indicator (KPI). However, only a fraction of customers take the CSAT survey after the call, leading to a biased and inaccurate average CSAT value, and missed opportunities for coaching, follow-up, and rectification. Therefore, call centers can benefit from a model predicting customer satisfaction on calls where the customer did not complete the survey. Given that CSAT is a closely monitored KPI, it is critical to minimize any bias in the average predicted CSAT (pCSAT). In this paper, we introduce a method such that predicted CSAT (pCSAT) scores accurately replicate the distribution of survey CSAT responses for every call center with sufficient data in a live production environment. The method can be applied to many multiclass classification problems to improve the class balance and minimize its changes upon model updates.
Autores: Etienne Manderscheid, Matthias Lee
Última actualización: 2024-11-19 00:00:00
Idioma: English
Fuente URL: https://arxiv.org/abs/2411.12539
Fuente PDF: https://arxiv.org/pdf/2411.12539
Licencia: https://creativecommons.org/licenses/by-nc-sa/4.0/
Cambios: Este resumen se ha elaborado con la ayuda de AI y puede contener imprecisiones. Para obtener información precisa, consulte los documentos originales enlazados aquí.
Gracias a arxiv por el uso de su interoperabilidad de acceso abierto.