Otimização das Previsões de Satisfação do Cliente em Call Centers

A Satisfação do cliente (CSAT) é super importante pra call centers. É como uma estrela dourada que mostra como eles tão indo. Mas tem um porém: só uma pequena parte dos clientes realmente preenche uma pesquisa de CSAT depois da ligação. Estamos falando de cerca de 8% em alguns casos. Essa taxa de resposta não muito legal pode dificultar pra os call centers saberem o quanto os clientes tão felizes de verdade. Perder esse Feedback significa que eles podem deixar passar algumas oportunidades de melhorar o atendimento.

Pra resolver esse problema, os call centers poderiam usar um modelo que prevê quão satisfeito um cliente tá, mesmo se ele não preencher a pesquisa. Como o CSAT é tão importante, é vital garantir que essas previsões sejam o mais precisas possível. É aí que nossa pesquisa entra. A gente desenvolveu um método pra garantir que essas pontuações de satisfação do cliente previstas, ou pCSAT, se aproximem muito dos resultados reais da pesquisa.

#Contextualizando

Não é raro que sistemas de machine learning sejam atualizados. O difícil é que essas atualizações podem mudar o equilíbrio dos resultados. Por exemplo, se muitas pontuações previstas forem altas ou baixas, isso pode prejudicar a visão geral. Pra consertar isso, criamos um processo de controle que ajuda a manter essas pontuações sob controle, especialmente quando tem muito ruído na amostra (pensa como estática no rádio).

Nas nossas descobertas, as pontuações médias de CSAT podem variar bastante se nem todo mundo responde. Se só uma pequena fração de clientes dá feedback, e o resto? Prever a satisfação para todas as ligações pode ajudar a ter uma visão mais clara.

#O Desafio do Feedback do Cliente

Vamos ser sinceros, a gente sabe que pesquisas podem ser chatas. Quando os clientes não respondem, as opiniões deles ficam um mistério. Prever a satisfação do cliente pra cada ligação poderia ajudar a suavizar esses aspectos negativos. Nosso artigo traz uma nova forma de prever essas pontuações sem introduzir viés.

#O Que Já Existe?

No mundo do machine learning, prever a satisfação do cliente tem ganhado bastante atenção. Estudos mostraram diferentes maneiras de lidar com isso, mas muitas vezes eles têm dificuldade em manter a verdadeira distribuição dos resultados da pesquisa. A gente deu uma olhada mais de perto nas pesquisas anteriores pra entender os métodos deles e ver onde podemos melhorar.

Alguns pesquisadores usaram sistemas de transcrição automática pra analisar transcrições de chamadas, junto com dados não textuais, pra criar pontuações de satisfação. Outros olharam como características acústicas ajudam a prever satisfação. Nossa abordagem se baseia em trabalhos anteriores, permitindo que a gente melhore a precisão de prever as pontuações de CSAT com base nas transcrições das chamadas.

#Replicando a Distribuição de Classes

A parte legal do nosso método envolve garantir que as pontuações previstas imitem de perto as respostas reais da pesquisa. Precisamos garantir que diferentes níveis de satisfação estejam representados com precisão, pra que ninguém fique de fora.

No mundo do machine learning, existem maneiras de lidar com dados desequilibrados. Técnicas como reamostragem e ajuste de limiares podem melhorar a representação das classes. No entanto, esses métodos muitas vezes não ajudam muito quando se trata de obter uma correspondência exata com os dados da pesquisa. Pra obter previsões específicas e úteis, tivemos que otimizar os limiares de decisão. Isso significa fazer previsões precisas enquanto mantemos a ordem natural dos níveis de satisfação intacta.

#Construindo o Modelo

Pra criar nossas previsões, usamos um grande modelo de linguagem (LLM) treinado em transcrições de chamadas. Esse modelo fornece saídas binárias: alta ou baixa satisfação. Depois, usamos as probabilidades desse modelo pra gerar nossas pontuações de pCSAT. Ao definir cuidadosamente os limiares de decisão, conseguimos traduzir essas probabilidades em uma escala de 1 a 5.

Nossos requisitos do produto são claros: garantir que a média de pCSAT alinhe com a média da pesquisa CSAT. Não queremos discrepâncias malucas.

#Coletando Dados

A gente se baseou em transcrições do nosso motor de Reconhecimento Automático de Fala, que tem uma taxa de precisão boa. Analisamos cerca de 892.000 chamadas com pontuações de satisfação conhecidas. Pra ter certeza de que não era só sorte, fizemos nossos testes várias vezes sob diferentes condições.

A gente também se certificou de excluir call centers com respostas muito baixas. Isso ajuda a evitar erros desnecessários causados pelo ruído da amostra e permite que a gente foque em centros com um bom volume de feedback.

#A Mágica da Otimização de Limiares

Nosso modelo usa uma função de mapeamento que pega uma probabilidade de satisfação baixa como entrada e gera uma pontuação na escala de 1 a 5. O mapeamento consiste em limiares de decisão que separam diferentes níveis de satisfação. Estimando esses limiares, conseguimos encontrar o ponto ideal pra minimizar erros enquanto equilibramos as necessidades de diferentes call centers.

#Como Testamos

Rodamos nosso modelo em diferentes cenários pra ver como ele se saiu. Nos primeiros testes, analisamos os níveis médios de satisfação. Depois de comparar nossas previsões com os resultados reais da pesquisa, vimos onde poderíamos melhorar.

Pra centros com muitas respostas, notamos uma tendência: quanto mais feedback tivíamos, mais precisas se tornavam nossas previsões. Isso faz sentido; menos feedback significa mais ruído, o que pode confundir as previsões.

#Resultados e Observações

No geral, nossos testes mostraram que o método que desenvolvemos foi eficaz em prever a satisfação do cliente. As taxas de perda variaram com base no volume de respostas dos call centers. Ficou claro que pra centros com menos respostas, nosso modelo teve mais dificuldades. Mas, pros centros que tinham um bom volume de feedback, conseguimos resultados impressionantes.

#Ajustando para Diferentes Centros

Aprendemos que uma abordagem híbrida poderia ser benéfica. Pra call centers com menos de 200 respostas, poderíamos usar um método, enquanto dependeríamos de outro pra centros maiores. Essa estratégia garante que estamos fazendo as previsões mais precisas possíveis, independente de quantos clientes se dão ao trabalho de responder.

#Considerações Éticas

Enquanto desenvolvíamos esse método, a ética estava no centro das nossas preocupações. Queremos garantir justiça e transparência na nossa abordagem.

Consideramos ativamente o viés nas nossas previsões, usando diferentes métodos pra avaliar grupos de usuários. Nosso compromisso com a transparência significa que documentamos claramente nossos processos e descobertas, ajudando todo mundo a entender como chegamos aos nossos resultados.

Na boa, seguimos regulamentos rígidos de privacidade de dados, garantindo que qualquer dado de cliente que usamos seja anonimizado. Também nos certificamos de limpar qualquer informação pessoal pra proteger a privacidade individual.

#Conclusão

Ao melhorar nossos métodos de prever a satisfação do cliente em call centers, a gente pretende ajudar as empresas a tomarem melhores decisões pra treinamento e acompanhamentos. Isso, por sua vez, leva a clientes mais felizes e um desempenho geral melhor pros call centers.

Então, da próxima vez que você receber uma ligação e alguém te pedir pra avaliar sua satisfação numa escala de 1 a 5, lembre-se: esse feedback é importante, mesmo que você não esteja a fim de preencher a pesquisa. Seus pensamentos ajudam a moldar como os call centers podem melhorar, tornando sua próxima ligação um pouquinho melhor.

No final das contas, a gente só tá tentando fazer todos os clientes sorrirem - não é uma tarefa fácil, mas estamos aqui pra isso!