Mejorando el Servicio al Cliente con Modelos de Lenguaje
Descubre cómo los modelos de lenguaje mejoran la eficiencia del servicio al cliente y reducen costos.
― 9 minilectura
Tabla de contenidos
- El Rol de los Agentes Humanos en el Servicio al Cliente
- Resumen de Conversation Assist
- Los Costos y Beneficios de los Modelos de Lenguaje Grande (LLMs)
- El Estudio de Caso
- Automatización e Interacción Humana
- Métodos de Personalización de Modelos de Lenguaje
- Evaluando la Usabilidad de las Respuestas
- Analizando Métricas de Rendimiento
- Ahorros Esperados de Costo Neto (ENCS)
- El Futuro de los LLMs en el Servicio al Cliente
- Consideraciones Éticas
- Limitaciones y Suposiciones
- Conclusión
- Fuente original
- Enlaces de referencia
El servicio al cliente es clave para muchas empresas, y las compañías a menudo buscan formas de mejorar este servicio mientras ahorran dinero. Un método es usar modelos de lenguaje. Estos modelos pueden ayudar a los agentes humanos sugiriendo respuestas a las preguntas de los clientes. Esto ayuda a los agentes a trabajar más rápido y de manera más eficiente, lo cual es crucial porque contratar agentes puede ser costoso.
Los modelos de lenguaje pueden generar automáticamente respuestas para los agentes, facilitando que respondan a los clientes. Sin embargo, aunque estos modelos pueden ser útiles, también vienen con altos costos relacionados con su entrenamiento y uso. Este artículo explora cómo las empresas pueden evaluar la rentabilidad de estos modelos y su impacto en el servicio al cliente.
El Rol de los Agentes Humanos en el Servicio al Cliente
Aún con los avances en tecnología, los agentes humanos siguen siendo importantes para ofrecer servicio al cliente. Muchas conversaciones pueden ser automatizadas, pero algunas situaciones requieren un toque humano. Los agentes deben manejar múltiples conversaciones y a menudo necesitan acceso a cuentas de clientes y políticas de la marca.
Debido al gasto de emplear agentes, las empresas buscan soluciones eficientes para reducir costos mientras mantienen la calidad del servicio. Una solución implica usar sistemas que sugieren respuestas que los agentes pueden usar durante las interacciones con los clientes.
Resumen de Conversation Assist
LivePerson desarrolló una herramienta llamada Conversation Assist, que ayuda a los agentes sugiriendo respuestas basadas en interacciones previas con los clientes. Esta herramienta acelera el proceso de respuesta y permite que los agentes se concentren en consultas más complejas.
Al usar Conversation Assist, las empresas pueden esperar tiempos de respuesta reducidos y mejor calidad en las respuestas. Un modelo bien diseñado puede proporcionar sugerencias consistentes y bien estructuradas, incluso superando a agentes menos experimentados. Esto puede llevar a ahorros significativos y aumentar la satisfacción del cliente.
Los Costos y Beneficios de los Modelos de Lenguaje Grande (LLMs)
Los Modelos de Lenguaje Grande (LLMs) muestran un gran potencial para aplicaciones de servicio al cliente. Pueden generar respuestas de alta calidad, pero entrenar y operar estos modelos puede ser caro. Por ejemplo, usar un modelo específico puede costar más que otros, lo que influye en el gasto general de una empresa.
Además, el panorama financiero en torno a los LLMs está en constante cambio. Diferentes empresas pueden tener acuerdos únicos que difieren de los precios estándar. A medida que la tecnología evoluciona, los costos asociados con el entrenamiento y uso de LLMs también cambiarán.
Para ayudar a las empresas a determinar si usar un LLM vale la pena, se propone un marco llamado Ahorros Esperados de Costo Neto (ENCS). Este marco considera el ahorro financiero de un agente que utiliza una respuesta del modelo menos el costo de generar esa respuesta. Este enfoque se puede aplicar de manera individual o en agregado.
El Estudio de Caso
Para aplicar y probar el marco ENCS, se realizó un estudio de caso con una marca. El enfoque fue usar varios métodos para personalizar LLMs y ver cómo afectaban los costos y la eficiencia de los agentes. Se recopiló retroalimentación de los agentes de servicio al cliente para evaluar tres estrategias: Ajuste fino, Ingeniería de Prompts y destilación de conocimiento.
El estudio de caso reveló que la utilidad de una respuesta puede superar significativamente las diferencias en el costo de generar estas respuestas. Este hallazgo se puede aplicar ampliamente a otras empresas.
Automatización e Interacción Humana
A medida que las empresas implementan más soluciones automatizadas en el servicio al cliente, los agentes humanos seguirán desempeñando un papel clave. Aunque los sistemas automatizados pueden manejar tareas simples e inquietudes generales, puede que no aborden adecuadamente preocupaciones complejas de los clientes. Los agentes humanos pueden proporcionar el apoyo necesario cuando los sistemas automatizados no cumplen.
El objetivo de la mayoría de las organizaciones es encontrar un equilibrio entre la automatización y la intervención humana. Al aprovechar herramientas como Conversation Assist, las empresas hacen posible que los agentes respondan rápidamente mientras aseguran que las consultas de los clientes se resuelvan de manera efectiva.
Métodos de Personalización de Modelos de Lenguaje
El estudio de caso se centró en tres métodos para adaptar los LLMs a la marca en cuestión:
Ajuste Fino
El ajuste fino implica entrenar un modelo existente en un conjunto de datos específico de la marca. Esto ayuda al modelo a entender el lenguaje y el contexto que son únicos para esa marca, resultando en respuestas mejores y más personalizadas.
Ingeniería de Prompts
La ingeniería de prompts crea instrucciones o ejemplos específicos para que el modelo siga al generar respuestas. Este método puede guiar al modelo a producir sugerencias más relevantes y precisas mientras reduce la necesidad de entrenamientos extensivos.
Destilación de Conocimiento
La destilación de conocimiento simplifica modelos más grandes en versiones más pequeñas y eficientes. Esto puede ayudar a reducir el costo de operar el modelo mientras se mantiene un nivel de rendimiento que sigue siendo útil para el apoyo a los agentes.
Evaluando la Usabilidad de las Respuestas
Para medir la efectividad de las sugerencias del modelo, se pidió a agentes de servicio al cliente reales que evaluaran la usabilidad de las respuestas de diferentes modelos. Indicaron si usarían, editarían o ignorarían las respuestas generadas según sus experiencias.
Esta evaluación llevó a valiosas ideas sobre qué configuraciones de modelo funcionaron mejor en la práctica. Al enfocarse en la usabilidad, las empresas pueden asegurarse de que la tecnología que implementan cumpla con las necesidades de sus agentes y clientes.
Analizando Métricas de Rendimiento
Se usaron diversas métricas para evaluar la calidad de las respuestas generadas por los modelos. Estas normalmente incluían factores como sensatez, especificidad y utilidad. Estas medidas proporcionaron una visión general de qué tan bien se desempeñó cada modelo según la retroalimentación de los agentes.
Las respuestas de mayor calidad, según estas métricas, llevaron a tasas de uso más altas por parte de los agentes. Esta relación destaca la importancia de no solo enfocarse en el costo de generar respuestas, sino también en considerar el valor real y la utilidad que esas respuestas aportan a las interacciones con los clientes.
Ahorros Esperados de Costo Neto (ENCS)
El marco ENCS incorpora múltiples factores, incluidos el rendimiento del modelo, el costo del agente y los costos asociados con la generación de respuestas. Este enfoque permite una imagen más clara de los ahorros potenciales y ayuda a tomar decisiones informadas sobre qué modelos implementar.
Al calcular cuánto tiempo ahorra un agente al usar la respuesta de un modelo, las organizaciones pueden ver los beneficios financieros más claramente. El marco también puede tener en cuenta las variaciones en diferentes marcas y sus necesidades específicas, haciéndolo flexible para diversas aplicaciones.
El Futuro de los LLMs en el Servicio al Cliente
El estudio de caso sugiere que los LLMs tienen un potencial significativo para mejorar el servicio al cliente mientras brindan ahorros. Sin embargo, el panorama está cambiando rápidamente. A medida que se desarrollan nuevos modelos y fluctúan los costos, las empresas deben permanecer adaptables y preparadas para reevaluar sus estrategias regularmente.
Tanto las soluciones internas como las de terceros tienen sus pros y contras. Para marcas más pequeñas, la inversión en modelos internos puede no ser factible en comparación con la flexibilidad que ofrecen los servicios de terceros. Sin embargo, para empresas más grandes, la capacidad de controlar los datos y la calidad del servicio podría justificar los costos iniciales.
Consideraciones Éticas
Si bien la tecnología puede mejorar el servicio al cliente, es importante considerar las implicaciones éticas de usar tales herramientas. Asegurarse de que los datos de los clientes permanezcan privados es crucial, y las empresas deben ser transparentes sobre cómo utilizan estos modelos.
Además, aunque la intención es mejorar la eficiencia y la calidad del servicio, existe el potencial de que la automatización pueda llevar a reducciones de personal. Este impacto en los agentes humanos debe ser reconocido y abordado para mantener un enfoque equilibrado.
Limitaciones y Suposiciones
El estudio tiene algunas limitaciones, incluyendo el tamaño de la muestra de agentes y los posibles sesgos en sus retroalimentaciones. El comportamiento de los agentes en evaluaciones controladas puede diferir de los escenarios de la vida real, lo que podría afectar la frecuencia con la que utilizan respuestas generadas por modelos.
Otros factores, como la complejidad de las consultas de los clientes o el entrenamiento de los agentes, podrían influir en la efectividad general de usar modelos de lenguaje. Los estudios futuros deberían explorar estas áreas más a fondo para crear una comprensión más completa de la utilidad de los LLMs en contextos de servicio al cliente.
Conclusión
La integración de modelos de lenguaje grande en el servicio al cliente puede llevar a una mayor eficiencia y significativos ahorros. Al usar técnicas como ajuste fino, ingeniería de prompts y destilación de conocimiento, las empresas pueden adaptar estas tecnologías a sus necesidades específicas.
El marco de ahorros esperados de costo neto proporciona un esquema valioso para evaluar el impacto financiero de implementar LLMs en el servicio al cliente. Las empresas deben estar atentas al panorama en evolución y a las consideraciones éticas mientras aprovechan estos avances para mejorar la calidad del servicio.
De cara al futuro, las organizaciones deben priorizar la usabilidad y la efectividad al seleccionar modelos de lenguaje, asegurando que la tecnología se alinee con las necesidades de agentes y clientes. Al hacerlo, pueden maximizar los beneficios de la automatización sin comprometer el toque humano que es esencial para un servicio al cliente excepcional.
Título: The economic trade-offs of large language models: A case study
Resumen: Contacting customer service via chat is a common practice. Because employing customer service agents is expensive, many companies are turning to NLP that assists human agents by auto-generating responses that can be used directly or with modifications. Large Language Models (LLMs) are a natural fit for this use case; however, their efficacy must be balanced with the cost of training and serving them. This paper assesses the practical cost and impact of LLMs for the enterprise as a function of the usefulness of the responses that they generate. We present a cost framework for evaluating an NLP model's utility for this use case and apply it to a single brand as a case study in the context of an existing agent assistance product. We compare three strategies for specializing an LLM - prompt engineering, fine-tuning, and knowledge distillation - using feedback from the brand's customer service agents. We find that the usability of a model's responses can make up for a large difference in inference cost for our case study brand, and we extrapolate our findings to the broader enterprise space.
Autores: Kristen Howell, Gwen Christian, Pavel Fomitchov, Gitit Kehat, Julianne Marzulla, Leanne Rolston, Jadin Tredup, Ilana Zimmerman, Ethan Selfridge, Joseph Bradley
Última actualización: 2023-06-08 00:00:00
Idioma: English
Fuente URL: https://arxiv.org/abs/2306.07402
Fuente PDF: https://arxiv.org/pdf/2306.07402
Licencia: https://creativecommons.org/licenses/by-sa/4.0/
Cambios: Este resumen se ha elaborado con la ayuda de AI y puede contener imprecisiones. Para obtener información precisa, consulte los documentos originales enlazados aquí.
Gracias a arxiv por el uso de su interoperabilidad de acceso abierto.