Melhorando o Atendimento ao Cliente com Sistemas Aumentados por Conhecimento

No mundo do atendimento ao cliente, sistemas de diálogo ajudam os atendentes a se comunicarem com os usuários. Esses sistemas costumam precisar seguir passos específicos pra lidar com diferentes pedidos. Por exemplo, antes de trocar uma senha, o atendente precisa confirmar a identidade do usuário. Embora modelos de linguagem avançados possam ajudar a automatizar essas conversas, geralmente eles precisam de muitos dados pra funcionar bem. Isso cria um desafio quando se tenta implementá-los em situações do dia a dia, onde dados consistentes e de boa qualidade nem sempre estão disponíveis.

Pra resolver esse problema, a gente propõe um sistema de diálogo que usa instruções passo a passo das diretrizes da empresa, como manuais de atendimento ao cliente. Esse novo sistema combina um Modelo de Linguagem com um módulo que puxa passos relevantes de um conjunto de documentos sempre que um usuário interage com um atendente. Isso permite que o sistema preveja ações com mais precisão, mesmo em situações onde tem poucos dados.

A ideia principal por trás do nosso sistema é simples. A gente quer usar o conhecimento armazenado nesses documentos pra melhorar a forma como nosso modelo de linguagem funciona. Nossa abordagem inclui duas partes: um Recuperador de Conhecimento que encontra as instruções mais relevantes de um conjunto de documentos, e um modelo de linguagem que usa tanto a conversa em andamento quanto a instrução recuperada pra decidir a próxima ação que o atendente deve tomar.

#Como o Sistema Funciona

Pra diálogos orientados a tarefas, diretrizes rígidas precisam ser seguidas. Por exemplo, se um usuário quer trocar a senha, o atendente deve primeiro verificar a identidade do usuário. Embora grandes modelos de linguagem tenham mostrado potencial aqui, eles têm dificuldades sem dados suficientes que reflitam essas procedimentos de forma consistente. Algumas etapas podem ocorrer raramente ou mudar com frequência, dificultando o aprendizado dos modelos.

Nosso sistema proposto se destaca por referenciar essas instruções armazenadas. Ele é composto por dois módulos: um recuperador de conhecimento e um modelo de linguagem. O recuperador de conhecimento analisa a conversa entre o atendente e o usuário, encontra as instruções mais relevantes e passa essa informação pro modelo de linguagem. O modelo então usa tanto a conversa quanto as instruções pra prever a próxima ação do atendente.

Enquanto sistemas anteriores usaram com sucesso conhecimento externo da web, a gente precisa de um método mais controlado pra recuperar instruções pra diálogos orientados a tarefas. Em vez de procurar na internet aberta, nosso sistema foca em um conjunto fechado de documentos. No entanto, a maioria dos métodos de treinamento anteriores foi projetada pra tarefas de perguntas e respostas, que não são tão eficazes pra previsão de ações.

Pra melhorar nossa abordagem, apresentamos um método especial de pré-treinamento que prepara o modelo pra prever ações com base nas instruções recuperadas. Inicialmente, a gente combina conversas com as instruções certas pra garantir que o módulo de recuperação esteja bem preparado. Depois, treinamos todo o sistema usando uma versão de Modelagem de Linguagem Mascarada, onde partes do diálogo ficam ocultas e o modelo precisa prever as ações que faltam.

#Testando o Sistema

Depois de desenvolver o sistema, nós o testamos em duas tarefas de diálogo: rastreamento de estado de ação e descoberta de fluxo de trabalho. No rastreamento de estado de ação, o sistema prevê o que o atendente deve fazer a seguir com base na conversa. Na descoberta de fluxo de trabalho, o objetivo é identificar a sequência de ações que o atendente tomou ao longo do diálogo.

A gente fez nossas avaliações usando dois conjuntos de dados notáveis, que incluem interações variadas de atendimento ao cliente. O primeiro conjunto de dados consiste em conversas que seguem diretrizes específicas pra respostas de atendentes, enquanto o segundo conjunto contém diálogos mais longos com perguntas de clientes mais complexas.

Nos testes, a gente viu que nosso sistema melhorou significativamente a precisão das previsões de ações em comparação com outros métodos. Ele foi particularmente eficaz em situações onde os dados de treinamento eram escassos. Essa é uma descoberta importante, já que as aplicações do mundo real frequentemente enfrentam desafios devido à falta de dados de treinamento suficientes.

#Resultados dos Nossos Testes

Nas nossas avaliações, medimos quão precisamente o sistema conseguia prever as ações que os atendentes tomariam. Comparamos o desempenho do nosso modelo com modelos mais simples e aqueles que usam diretrizes estáticas. Nossos resultados mostraram que o Sistema de Diálogo Aumentado por Conhecimento (KADS) teve um desempenho melhor tanto em situações conhecidas quanto em desconhecidas.

Pra procedimentos conhecidos, o KADS demonstrou maior precisão na previsão de ações. Em casos com menos dados de treinamento, a diferença foi ainda mais marcante. Isso indica que nosso sistema é mais adaptável e tem um desempenho melhor em configurações de baixa disponibilidade de dados, em comparação com modelos que dependem apenas de dados históricos.

A gente também analisou como o sistema lidava com tarefas que ele não tinha visto durante o treinamento. Aqui também, nosso sistema se destacou. O KADS conseguiu prever corretamente novas ações usando efetivamente as informações nos documentos processuais.

#Entendendo a Seleção de Documentos

Outro aspecto importante dos nossos testes foi avaliar quão bem nosso recuperador de conhecimento selecionou os documentos certos que correspondiam às perguntas dos usuários. Em um conjunto de dados, a gente descobriu que o recuperador de conhecimento foi substancialmente mais bem-sucedido em selecionar documentos apropriados em comparação com o outro conjunto. Essa diferença pode ser atribuída à natureza das perguntas, que muitas vezes se sobrepõem o suficiente pra permitir documentos processuais similares.

A gente também acompanhou como o recuperador de conhecimento se saiu durante sua fase de treinamento. Curiosamente, notamos que a precisão caiu depois do ajuste fino nas tarefas finais. Isso sugere que focar na previsão de ações pode ter levado a uma leve mudança na forma como o modelo selecionou documentos em comparação com a fase de treinamento anterior, onde a precisão na seleção de documentos era maximizada.

#Importância do Pré-treinamento

O sucesso do nosso sistema pode ser amplamente atribuído ao esquema de pré-treinamento que utilizamos. Nosso treinamento inclui passos específicos projetados pra otimizar como o modelo opera. Inicialmente, a gente aquece o recuperador de conhecimento com uma tarefa que alinha diálogos a documentos relevantes. Depois disso, treinamos o modelo completo usando uma tarefa de modelagem de linguagem mascarada, que serve como um passo preparatório antes de focar em tarefas de diálogo específicas.

Concluímos que omitir qualquer uma das etapas de treinamento resulta em um desempenho mais fraco nas tarefas finais. As fases de pré-treinamento são essenciais pra ajudar nosso modelo a utilizar efetivamente o aspecto de recuperação de conhecimento, que é crucial pra melhorar suas previsões.

#Aplicações Práticas

Enquanto modelos de linguagem avançados funcionam bem em ambientes controlados, muitas situações do mundo real carecem de dados suficientes pra treinar esses modelos efetivamente. Nosso sistema proposto oferece um caminho a seguir pra automatizar diálogos em ambientes com poucos recursos, permitindo um desempenho melhor mesmo com dados limitados.

Essa abordagem destaca como diretrizes processuais consistentes podem oferecer um suporte valioso em tarefas de previsão de ações. Pesquisas futuras poderiam explorar o uso de diretrizes mais variadas ou não estruturadas e métodos pra recuperar múltiplos documentos relevantes ao mesmo tempo. Nosso trabalho foca em instruções altamente estruturadas, e os resultados podem diferir com um leque mais diversificado de diretrizes.

Além disso, conforme o tamanho dos documentos aumenta, vamos precisar investigar maneiras mais eficientes de calcular similaridades entre documentos e perguntas dos usuários. Isso pode envolver a implementação de algoritmos que possam identificar rapidamente os documentos mais úteis entre um grande conjunto.

#Conclusão

Em resumo, nosso trabalho ilustra como um Sistema de Diálogo Aumentado por Conhecimento pode melhorar a forma como sistemas de diálogo lidam com pedidos de usuários, especialmente em ambientes com dados limitados. Ao aproveitar instruções processuais explícitas, nosso sistema melhora a capacidade do atendente de prever ações com precisão. As descobertas sugerem que esse método pode criar sistemas de diálogo orientados a tarefas mais robustos que operam efetivamente sob as limitações do mundo real.