Melhorando Recomendações Baseadas em Narrativa com Modelos de Linguagem

Recomendação baseada em narrativas (NDR) é um jeito onde os usuários pedem sugestões com base em descrições detalhadas dos seus interesses e situações. Por exemplo, um viajante pode descrever suas preferências ao procurar lugares para visitar. Esse tipo de pedido tem ficado mais comum, já que mais pessoas estão usando assistentes de voz e chatbots para buscar informações. Mas o NDR enfrenta desafios porque não tem dados de treino suficientes para ajudar os modelos a entender esses pedidos complexos. Os sistemas atuais também muitas vezes não dão conta dessas solicitações de forma eficaz. Mas, felizmente, conjuntos de dados existentes com interações de usuários, como avaliações, podem oferecer insights valiosos sobre preferências e contextos dos usuários.

Esse artigo fala sobre um método usando modelos de linguagem grandes (LLMs) para melhorar o NDR, criando consultas de usuário sintéticas. Simulando pedidos de usuários com base em dados coletados anteriormente, conseguimos melhorar o processo de treinamento dos sistemas NDR.

#Contexto

Sistemas de recomendação são essenciais para muitas plataformas online. Esses sistemas aprendem sobre os gostos e desgostos dos usuários a partir de interações passadas e fornecem sugestões personalizadas. Enquanto esses sistemas funcionam bem com dados históricos, os usuários costumam começar com ideias vagas sobre o que querem, dificultando boas recomendações. Nesses casos, os usuários costumam escrever descrições mais longas sobre o que procuram.

O NDR foi estudado para atender essas necessidades, cobrindo itens diversos, incluindo livros, filmes e lugares para visitar. No entanto, os sistemas de recomendação atuais não estão prontos para lidar com esses pedidos complexos. Com interfaces conversacionais se tornando mais comuns, apoiar o NDR vai se tornar cada vez mais importante. Avanços recentes na compreensão da linguagem sugerem que os LLMs podem ajudar a atender a esses pedidos complexos.

#Metodologia

A abordagem proposta visa transformar dados de interação de usuários com itens existentes em um recurso de treinamento útil para o NDR. O primeiro passo é juntar interações de usuários que incluam descrições de itens que eles gostaram. Um Modelo de Linguagem grande, especificamente o InstructGPT, irá gerar consultas narrativas a partir dessas interações.

Para garantir que as consultas geradas sejam relevantes, o método filtra os itens com base em quão bem eles se alinham com as interações anteriores do usuário. Os dados filtrados são então usados para treinar modelos de recuperação que ajudam a gerar recomendações com base nas novas Consultas Sintéticas criadas.

#Gerando Consultas Narrativas

Para criar uma consulta narrativa para um usuário, usamos o InstructGPT. Fornecemos exemplos de interações de usuários para definir um contexto para a geração da consulta. Isso ajuda o modelo a produzir pedidos mais coerentes e relevantes. Ao incorporar avaliações reais e experiências de usuários, tornamos as consultas geradas mais reflexivas das necessidades reais dos usuários.

Dado que nem todos os itens dos usuários capturam toda a gama de seus interesses, filtramos os itens antes de treinar nossos modelos. Usamos outro modelo para avaliar a adequação de cada item em relação à consulta gerada. Esse filtro resulta em um conjunto de dados mais limpo e focado para o treinamento.

#Treinando Modelos de Recuperação

Assim que temos o conjunto de dados sintético, treinamos modelos projetados especificamente para tarefas de recuperação. Utilizamos dois tipos de modelos: Bi-encoders e Cross-encoders. Os bi-encoders funcionam processando a consulta e os itens de forma independente, ajudando a classificar rapidamente os itens com base em sua relevância. Os cross-encoders, por outro lado, levam tanto a consulta quanto o item juntos, permitindo conexões mais complexas durante o processo de classificação.

Em nossos experimentos, refinamos esses modelos usando um processo que melhora seu desempenho através de treinamento iterativo. Avaliamos como esses modelos se saem ao gerar recomendações com base nas consultas narrativas que criamos.

#Avaliação e Resultados

Para avaliar a eficácia do nosso método, testamos com um conjunto de dados voltado para recomendações de pontos de interesse. Esse conjunto continha consultas narrativas realistas junto com um grande número de itens anotados. A qualidade das nossas consultas sintéticas foi crucial aqui, pois afetou como os modelos de treinamento podiam entender e processar as necessidades dos usuários.

Nossa configuração experimental envolveu gerar um número substancial de consultas sintéticas com base nas interações de usuários de uma plataforma como o Yelp. Usuários que forneceram descrições ricas foram selecionados para a geração da consulta, garantindo que o conjunto de dados resultante fosse robusto. Depois de filtrar e preparar os dados, treinamos modelos bi-encoder e cross-encoder com os dados sintéticos.

Os resultados mostraram que nossos modelos se saíram significativamente melhor que os padrões tradicionais. Eles não só superaram muitos métodos de recomendação existentes, mas também mostraram a capacidade de igualar ou superar o desempenho de modelos de linguagem muito maiores. Isso indica que nosso método para gerar recomendações baseadas em narrativas é tanto eficaz quanto eficiente.

#Discussão

As descobertas sugerem que usar LLMs para criar consultas narrativas sintéticas a partir de dados de interação de usuários com itens é uma abordagem valiosa para melhorar os sistemas de NDR. Ao transformar dados históricos em formatos de consulta significativos, conseguimos ensinar os modelos a responder com precisão a pedidos complexos de usuários.

Além disso, nossos resultados destacam a importância da qualidade dos dados no treinamento dos modelos. Filtrar itens menos relevantes leva a melhores resultados, reforçando a ideia de que os dados inseridos nesses sistemas são cruciais para o desempenho.

#Direções Futuras

Olhando para frente, várias possíveis direções podem aprimorar este trabalho. Uma área é experimentar com modelos de linguagem menores para gerar consultas. Embora nossa abordagem principal tenha usado um modelo muito grande, pode ser possível criar modelos dedicados que se especializem na elaboração de consultas narrativas.

Outra possibilidade é desenvolver métodos para selecionar itens e usuários de forma mais ativa durante a geração de consultas. Isso poderia otimizar o uso de modelos de linguagem grandes ao mesmo tempo em que garante dados de alta qualidade. Além disso, nossa técnica de gerar consultas sintéticas a partir de documentos de usuários poderia ser aplicada a outras tarefas de recuperação, ampliando seu impacto além do NDR.

Por fim, criar coleções de testes mais substanciais especificamente para NDR seria benéfico. Conjuntos de dados atuais são muitas vezes limitados, então novos conjuntos de dados coletados sistematicamente permitiriam avaliações mais abrangentes dos sistemas de recomendação.

#Conclusão

Em conclusão, este artigo apresenta uma abordagem nova para melhorar recomendações baseadas em narrativas ao aproveitar a ampliação de dados através de modelos de linguagem grandes. Ao gerar consultas sintéticas que imitam pedidos reais de usuários, melhoramos o treinamento dos modelos de recuperação. Os resultados demonstram que nosso método é eficaz, provando que é possível criar recomendações de qualidade mesmo com a complexidade das consultas narrativas. Este trabalho estabelece a base para futuras explorações na criação de sistemas de recomendação inteligentes que podem atender melhor às necessidades dos usuários através da compreensão da linguagem natural.