Melhorando o Atendimento ao Cliente com Modelos de Linguagem
Descubra como modelos de linguagem melhoram a eficiência do atendimento ao cliente e reduzem custos.
― 9 min ler
Índice
- O Papel dos Atendentes Humanos no Atendimento ao Cliente
- Visão Geral do Conversation Assist
- Os Custos e Benefícios dos Modelos de Linguagem Grande (LLMs)
- O Estudo de Caso
- Automação e Interação Humana
- Métodos de Personalização de Modelos de Linguagem
- Avaliando a Usabilidade das Respostas
- Analisando Métricas de Desempenho
- Economia Líquida Esperada (ENCS)
- O Futuro dos LLMs no Atendimento ao Cliente
- Considerações Éticas
- Limitações e Suposições
- Conclusão
- Fonte original
- Ligações de referência
O atendimento ao cliente é essencial pra muitas empresas, e as companhias sempre tão buscando maneiras de melhorar esse serviço e economizar grana ao mesmo tempo. Uma das formas é usar modelos de linguagem. Esses modelos podem ajudar os atendentes humanos sugerindo respostas pras perguntas dos clientes. Isso ajuda os atendentes a trabalharem mais rápido e eficientemente, o que é crucial, já que contratar atendentes pode ser caro.
Os modelos de linguagem podem gerar respostas automaticamente pros atendentes, facilitando a vida deles na hora de responder aos clientes. Mas, apesar de serem úteis, esses modelos também têm altos custos relacionados ao treinamento e uso. Este artigo analisa como as empresas podem avaliar a relação custo-benefício desses modelos e o impacto deles no atendimento ao cliente.
O Papel dos Atendentes Humanos no Atendimento ao Cliente
Mesmo com os avanços na tecnologia, os atendentes humanos continuam sendo importantes pra fornecer atendimento ao cliente. Muitas conversas podem ser automatizadas, mas algumas situações precisam do toque humano. Os atendentes precisam lidar com múltiplas conversas e muitas vezes precisam ter acesso às contas dos clientes e às políticas da marca.
Devido ao custo de empregar atendentes, as empresas tão buscando soluções eficientes pra reduzir gastos enquanto mantêm a qualidade do serviço. Uma solução envolve usar sistemas que sugerem respostas pros atendentes durante as interações com os clientes.
Visão Geral do Conversation Assist
A LivePerson desenvolveu uma ferramenta chamada Conversation Assist, que ajuda os atendentes sugerindo respostas com base em interações anteriores com os clientes. Essa ferramenta agiliza o processo de resposta e permite que os atendentes foquem em perguntas mais complexas.
Usando o Conversation Assist, as empresas podem esperar tempos de resposta reduzidos e qualidade de resposta melhorada. Um modelo bem projetado pode fornecer sugestões consistentes e bem estruturadas, até superando atendentes menos experientes. Isso pode resultar em economias significativas e aumento da satisfação dos clientes.
Os Custos e Benefícios dos Modelos de Linguagem Grande (LLMs)
Os Modelos de Linguagem Grande (LLMs) têm grande potencial pras aplicações de atendimento ao cliente. Eles podem gerar respostas de alta qualidade, mas treinar e operar esses modelos pode ser caro. Por exemplo, usar um modelo específico pode custar mais do que outros, o que impacta nos gastos totais de uma empresa.
Além disso, o cenário financeiro em torno dos LLMs tá mudando constantemente. Diferentes empresas podem ter acordos únicos que fogem do preço padrão. À medida que a tecnologia evolui, os custos associados ao treinamento e uso dos LLMs também vão mudar.
Pra ajudar as empresas a decidirem se vale a pena usar um LLM, é proposto um framework chamado Economia Líquida Esperada (ENCS). Esse framework considera a economia financeira que um atendente tem ao usar a resposta de um modelo menos o custo de gerar essa resposta. Essa abordagem pode ser aplicada mensagem por mensagem ou de forma agregada.
O Estudo de Caso
Pra aplicar e testar o framework ENCS, foi feito um estudo de caso com uma marca. O foco era usar vários métodos pra personalizar os LLMs e ver como isso impactava os custos e a eficiência dos atendentes. O feedback dos atendentes de serviço foi coletado pra avaliar três estratégias: Ajuste fino, Engenharia de Prompt e destilação de conhecimento.
O estudo de caso revelou que a utilidade de uma resposta pode superar significativamente as diferenças de custo pra gerar essas respostas. Essa descoberta pode ser aplicada amplamente a outros negócios.
Automação e Interação Humana
À medida que as empresas implementam mais soluções automatizadas no atendimento ao cliente, os atendentes humanos ainda vão continuar desempenhando um papel chave. Enquanto os sistemas automatizados podem lidar com tarefas simples e perguntas gerais, eles podem não resolver adequadamente preocupações complexas dos clientes. Os atendentes humanos podem fornecer o suporte necessário quando os sistemas automatizados falham.
O objetivo da maioria das organizações é encontrar um equilíbrio entre automação e intervenção humana. Ao usar ferramentas como o Conversation Assist, as empresas possibilitam que os atendentes respondam rapidamente, garantindo que as perguntas dos clientes sejam resolvidas de forma eficaz.
Métodos de Personalização de Modelos de Linguagem
O estudo de caso focou em três métodos pra adaptar os LLMs pra marca em questão:
Ajuste Fino
O ajuste fino envolve treinar um modelo existente em um conjunto de dados específico da marca. Isso ajuda o modelo a entender a linguagem e o contexto que são únicos daquela marca, resultando em respostas melhores e mais personalizadas.
Engenharia de Prompt
A engenharia de prompt cria instruções ou exemplos específicos pros modelos seguirem ao gerar respostas. Esse método pode guiar o modelo a produzir sugestões mais relevantes e precisas, reduzindo a necessidade de um treinamento extensivo.
Destilação de Conhecimento
A destilação de conhecimento simplifica modelos maiores em versões menores e mais eficientes. Isso pode ajudar a reduzir o custo de rodar o modelo enquanto mantém um nível de desempenho que ainda é útil pra apoiar os atendentes.
Avaliando a Usabilidade das Respostas
Pra medir a eficácia das sugestões dos modelos, atendentes reais foram convidados a avaliar a usabilidade das respostas geradas por diferentes modelos. Eles indicaram se usariam, editariam ou ignorariam as respostas geradas com base em suas experiências.
Essa avaliação levou a insights valiosos sobre quais configurações de modelo funcionavam melhor na prática. Ao focar na usabilidade, as empresas podem garantir que a tecnologia que implementam atenda às necessidades dos atendentes e dos clientes.
Analisando Métricas de Desempenho
Uma variedade de métricas foi usada pra avaliar a qualidade das respostas geradas pelos modelos. Isso geralmente incluía fatores como sensatez, especificidade e utilidade. Essas medidas forneceram uma visão geral de como cada modelo se saiu com base no feedback dos atendentes.
Respostas de maior qualidade, conforme indicado por essas métricas, levaram a taxas de uso mais altas pelos atendentes. Essa relação destaca a importância de não focar apenas no custo de gerar respostas, mas também considerar o valor e a utilidade reais que essas respostas trazem pras interações com os clientes.
Economia Líquida Esperada (ENCS)
O framework ENCS incorpora múltiplos fatores, incluindo desempenho do modelo, custo do atendente e os custos associados à geração de respostas. Essa abordagem permite uma visão mais clara das economias potenciais e ajuda na hora de tomar decisões informadas sobre quais modelos implementar.
Ao calcular quanto tempo um atendente economiza ao usar a resposta de um modelo, as organizações podem ver os benefícios financeiros de forma mais clara. O framework também pode levar em conta variações em diferentes marcas e suas necessidades específicas, tornando-se flexível pra várias aplicações.
O Futuro dos LLMs no Atendimento ao Cliente
O estudo de caso sugere que os LLMs têm um potencial significativo em melhorar o atendimento ao cliente enquanto oferecem economia de custos. No entanto, o cenário tá mudando rapidamente. À medida que novos modelos são desenvolvidos e os custos flutuam, as empresas precisam se manter adaptáveis e preparadas pra reavaliar suas estratégias regularmente.
Soluções internas e de terceiros têm seus prós e contras. Pra marcas menores, o investimento em modelos internos pode não ser viável em comparação com a flexibilidade que os serviços de terceiros oferecem. No entanto, pra grandes empresas, a capacidade de controlar dados e qualidade de serviço pode justificar os custos iniciais.
Considerações Éticas
Enquanto a tecnologia pode melhorar o atendimento ao cliente, é importante considerar as implicações éticas de usar essas ferramentas. Garantir que os dados dos clientes permaneçam privados é crucial, e as empresas precisam ser transparentes sobre como usam esses modelos.
Além disso, enquanto a intenção é melhorar a eficiência e a qualidade do serviço, há o potencial de que a automação leve a cortes na força de trabalho. Esse impacto sobre os atendentes humanos deve ser reconhecido e abordado pra manter uma abordagem equilibrada.
Limitações e Suposições
O estudo tem algumas limitações, incluindo o tamanho da amostra de atendentes e os possíveis preconceitos em seu feedback. O comportamento dos atendentes em avaliações controladas pode ser diferente de cenários da vida real, o que pode afetar a frequência com que usam as respostas geradas pelos modelos.
Outros fatores, como a complexidade das perguntas dos clientes ou o treinamento dos atendentes, podem influenciar a eficácia geral do uso de modelos de linguagem. Estudos futuros devem explorar essas áreas mais a fundo pra criar uma compreensão mais abrangente da utilidade dos LLMs em contextos de atendimento ao cliente.
Conclusão
A integração de modelos de linguagem grande no atendimento ao cliente pode levar a uma eficiência aprimorada e economias significativas. Usando técnicas como ajuste fino, engenharia de prompt e destilação de conhecimento, as empresas podem adaptar essas tecnologias às suas necessidades específicas.
O framework de economia líquida esperada fornece um esboço valioso pra avaliar o impacto financeiro da implementação de LLMs no atendimento ao cliente. As empresas precisam estar atentas ao cenário em evolução e às considerações éticas enquanto aproveitam esses avanços pra melhorar a qualidade do serviço.
Seguindo em frente, as organizações devem priorizar usabilidade e eficácia na hora de selecionar modelos de linguagem, garantindo que a tecnologia se alinhe às necessidades de atendentes e clientes. Assim, podem maximizar os benefícios da automação sem comprometer o toque humano que é essencial pra um atendimento ao cliente excepcional.
Título: The economic trade-offs of large language models: A case study
Resumo: Contacting customer service via chat is a common practice. Because employing customer service agents is expensive, many companies are turning to NLP that assists human agents by auto-generating responses that can be used directly or with modifications. Large Language Models (LLMs) are a natural fit for this use case; however, their efficacy must be balanced with the cost of training and serving them. This paper assesses the practical cost and impact of LLMs for the enterprise as a function of the usefulness of the responses that they generate. We present a cost framework for evaluating an NLP model's utility for this use case and apply it to a single brand as a case study in the context of an existing agent assistance product. We compare three strategies for specializing an LLM - prompt engineering, fine-tuning, and knowledge distillation - using feedback from the brand's customer service agents. We find that the usability of a model's responses can make up for a large difference in inference cost for our case study brand, and we extrapolate our findings to the broader enterprise space.
Autores: Kristen Howell, Gwen Christian, Pavel Fomitchov, Gitit Kehat, Julianne Marzulla, Leanne Rolston, Jadin Tredup, Ilana Zimmerman, Ethan Selfridge, Joseph Bradley
Última atualização: 2023-06-08 00:00:00
Idioma: English
Fonte URL: https://arxiv.org/abs/2306.07402
Fonte PDF: https://arxiv.org/pdf/2306.07402
Licença: https://creativecommons.org/licenses/by-sa/4.0/
Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.
Obrigado ao arxiv pela utilização da sua interoperabilidade de acesso aberto.