Avanços em Sistemas de Recomendação Baseados em Conversa
Um modelo unificado melhora as recomendações de filmes através do diálogo.
― 7 min ler
Índice
Nos últimos anos, os sistemas de recomendação baseados em conversa ganharam destaque. Esses sistemas têm o objetivo de sugerir itens, tipo Filmes, com base no que os usuários falam. Os sistemas de recomendação tradicionais costumam se basear nas atividades passadas do usuário, como o que ele assistiu ou comprou. No entanto, se o usuário não tem um histórico longo ou quer algo diferente, uma abordagem baseada em conversa pode ser mais eficaz.
Esse tipo de sistema pode fazer perguntas ao usuário e entender suas preferências de forma mais direta, levando a sugestões mais personalizadas. Este artigo discute um novo método usando um único Modelo para lidar tanto com a conversa quanto com as Recomendações, tornando o processo mais fluido e eficaz.
Abordagens Tradicionais
A maioria dos sistemas anteriores para recomendações conversacionais usa componentes separados. Uma parte foca em entender a conversa enquanto a outra sugere itens. Essa separação tem suas vantagens, já que cada parte pode se especializar na sua tarefa. Porém, também tem desvantagens. As duas partes não compartilham informações facilmente, o que significa que o entendimento adquirido na conversa não ajuda diretamente o lado da recomendação e vice-versa.
Por exemplo, se um usuário fala sobre um filme específico, o sistema pode não aproveitar totalmente essa informação para sugerir algo melhor. O modelo ideal deveria misturar essas habilidades, entendendo o que o usuário quer enquanto sugere itens ao mesmo tempo.
Nossa Abordagem
Este artigo apresenta uma nova forma de fazer as coisas usando um único modelo transformer. Esse modelo pode gerenciar tanto a conversa quanto as recomendações ao mesmo tempo. Coletando vários tipos de dados e treinando o modelo com eles, buscamos mostrar que uma abordagem unificada é melhor.
Treinamos nosso modelo com um conjunto de dados de diálogos sobre recomendações de filmes. Além disso, criamos outras tarefas para ajudar o modelo a aprender mais sobre filmes e suas características. Por exemplo, uma tarefa envolvia prever atributos de filmes, enquanto outra envolvia encontrar filmes relacionados a um título específico.
Nosso objetivo era provar que esse modelo único poderia fornecer conversas e recomendações de alta qualidade aprendendo com diferentes tipos de tarefas simultaneamente.
Conjuntos de dados Que Usamos
Usamos dois conjuntos de dados principais para nosso estudo: o conjunto de dados ReDial e o conjunto de dados MovieLens.
Conjunto de Dados ReDial
O conjunto de dados ReDial consiste em conversas onde as pessoas pedem recomendações de filmes. Ele contém uma variedade de diálogos onde uma pessoa atua como recomendador e a outra está em busca de sugestões. Embora seja útil, não cobre tudo sobre relações e características de filmes.
Conjunto de Dados MovieLens
O conjunto de dados MovieLens é rico em informações, contendo milhões de classificações e tags para diferentes filmes. Esse conjunto ajuda a entender como os filmes se relacionam entre si através das classificações e tags descritivas dos usuários. Usamos esse conjunto para apoiar tarefas adicionais, tipo recomendar um filme com base em uma lista de filmes relacionados ou identificar atributos de filmes.
Método de Treinamento
O método de treinamento envolve ajustar nosso modelo, que é baseado na arquitetura T5. Nós o treinamos no conjunto de dados ReDial enquanto introduzíamos tarefas do conjunto de dados MovieLens ao mesmo tempo. Essa abordagem multitarefa permite que o modelo aprenda sobre diferentes aspectos das recomendações de filmes.
Ajustamos o modelo modificando seus parâmetros e usando uma taxa de aprendizado específica. Importante, garantimos que exemplos de treinamento de cada tarefa fossem incluídos igualmente para dar uma experiência de aprendizado justa em todas as tarefas.
Avaliando o Desempenho
Para medir o quão bem nosso modelo se sai, usamos duas métricas principais: a pontuação BLEU e o Recall.
Pontuação BLEU
A pontuação BLEU ajuda a avaliar quão próximas as respostas geradas estão das esperadas com base nas recomendações humanas. Uma pontuação BLEU mais alta indica melhor qualidade de diálogo.
Recall
Recall é usado para medir quantos dos filmes mencionados pelo nosso modelo alinham-se com aqueles sugeridos pelo recomendador humano nos diálogos. Uma pontuação de recall mais alta significa que o modelo é melhor em sugerir itens relevantes.
Comparando o desempenho do nosso modelo com outros, conseguimos ver a eficácia de ter uma abordagem unificada.
Resultados
Nosso modelo, treinado em todas as tarefas, superou aqueles baseados em componentes separados. A pontuação BLEU mostrou melhoria devido aos dados adicionais de filmes incorporados ao nosso treinamento. A pontuação de recall também destacou como nosso modelo conseguiu sugerir filmes relevantes para a conversa. Isso sugere que misturar as tarefas melhora o desempenho geral do modelo.
Investigando o Modelo
Para obter insights mais profundos sobre as capacidades do modelo, realizamos estudos de investigação. Esses estudos nos ajudaram a entender quanto as tarefas se ajudaram mutuamente e como diferentes informações foram utilizadas durante as conversas.
Investigação de Recomendações
Essa investigação avaliou a capacidade do modelo de identificar um filme relacionado quando dado um popular. Ao classificar filmes com base na sua co-ocorrência nos dados de treinamento, pudemos medir quão efetivamente o modelo fez recomendações.
Investigação de Atributos
Essa investigação examinou se o modelo poderia usar palavras descritivas da conversa para recuperar filmes relevantes. Os resultados mostraram que treinar com atributos de filmes ajudou o modelo a encontrar melhores recomendações com base nas tags mencionadas no diálogo.
Investigação de Combinação
Essa investigação testou a capacidade do modelo de utilizar tanto atributos de filmes quanto detalhes sobre os filmes mencionados ao mesmo tempo. Os resultados indicaram que o modelo conseguiu lidar bem com essa combinação, melhorando as recomendações de forma mais eficaz do que se focasse em apenas um aspecto.
Investigação de Descrição de Filme
Essa última investigação inverteu o processo, verificando se o modelo poderia gerar diálogos relevantes quando dado um título de filme. Os resultados confirmaram que o modelo conseguia recuperar respostas significativas ligadas a filmes específicos, algo que sistemas tradicionais costumam ter dificuldade.
Conclusão
Em conclusão, nossa pesquisa demonstra que um sistema de recomendação Conversacional unificado pode ser altamente eficaz. Treinando em múltiplas tarefas dentro de um único modelo, vemos melhorias tanto no diálogo quanto nas recomendações. Este estudo oferece insights sobre como abordagens similares poderiam ser aplicadas em vários domínios no processamento de linguagem natural. Os achados sugerem que, em vez de criar sistemas separados para diferentes funções, podemos incorporar múltiplas tarefas em um único modelo para aproveitar um conjunto de informações relevantes para um desempenho melhor.
Trabalhos futuros podem desenvolver ainda mais essa área integrando conjuntos de dados e tarefas adicionais e podem mudar a forma como projetamos sistemas para recomendação e geração de diálogo. Isso pode levar a sistemas mais avançados e habilidosos em conversa que entendem melhor os desejos dos usuários através de interações naturais.
Apêndice
Um Exemplo de Diálogo do Conjunto de Dados ReDial
Usuário: Estou afim de assistir a uma comédia romântica. O que você sugere?
Assistente: @ 50 Primeiros Beijos (2004) @ Você já viu esse?
Usuário: Ah, já vi esse. Eu realmente gosto...
Título: Multi-Task End-to-End Training Improves Conversational Recommendation
Resumo: In this paper, we analyze the performance of a multitask end-to-end transformer model on the task of conversational recommendations, which aim to provide recommendations based on a user's explicit preferences expressed in dialogue. While previous works in this area adopt complex multi-component approaches where the dialogue management and entity recommendation tasks are handled by separate components, we show that a unified transformer model, based on the T5 text-to-text transformer model, can perform competitively in both recommending relevant items and generating conversation dialogue. We fine-tune our model on the ReDIAL conversational movie recommendation dataset, and create additional training tasks derived from MovieLens (such as the prediction of movie attributes and related movies based on an input movie), in a multitask learning setting. Using a series of probe studies, we demonstrate that the learned knowledge in the additional tasks is transferred to the conversational setting, where each task leads to a 9%-52% increase in its related probe score.
Autores: Naveen Ram, Dima Kuzmin, Ellie Ka In Chio, Moustafa Farid Alzantot, Santiago Ontanon, Ambarish Jash, Judith Yue Li
Última atualização: 2023-05-08 00:00:00
Idioma: English
Fonte URL: https://arxiv.org/abs/2305.06218
Fonte PDF: https://arxiv.org/pdf/2305.06218
Licença: https://creativecommons.org/licenses/by/4.0/
Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.
Obrigado ao arxiv pela utilização da sua interoperabilidade de acesso aberto.