Avançando Sistemas de Recomendação Sequencial com Novos Métodos de Avaliação

Sistemas de recomendação são ferramentas que ajudam as pessoas a encontrarem itens que podem gostar com base no histórico e nas preferências delas. Esses sistemas estão super presentes no nosso dia a dia, aparecendo em compras online, streaming de filmes, serviços de música e muito mais. Um tipo específico de sistema de recomendação é chamado de Sistema de Recomendação Sequencial (SRS). Esses sistemas analisam a ordem em que os usuários interagem com os itens para fazer sugestões melhores sobre o que eles podem querer a seguir.

Mas, o comportamento dos usuários na vida real pode ser bem bagunçado. Às vezes, as pessoas compartilham contas, têm interesses que mudam ou clicam acidentalmente em itens. Esse "barulho" pode dificultar a sugestão de itens relevantes pelos SRSs. Para lidar com isso, propomos uma nova forma de avaliar e treinar os SRSs que considera esses desafios.

#A Necessidade de uma Nova Abordagem

Os métodos tradicionais usados para avaliar os SRSs geralmente focam em prever apenas um item futuro que um usuário pode gostar. Isso pode ser limitante porque não capta o fato de que muitos itens podem ser relevantes ao mesmo tempo. Se os usuários têm histórias bagunçadas, escolher só um item pode não refletir as verdadeiras preferências deles. Na verdade, os usuários podem clicar em vários itens por diferentes razões, e escolher só um pode enganar o sistema.

Para melhorar isso, desenvolvemos um novo método de avaliação que analisa vários itens que o usuário pode querer ver a seguir. Esse novo método é feito para lidar melhor com as complexidades do comportamento do usuário, considerando os muitos itens que ele pode gostar em vez de focar só em um.

#Novo Protocolo de Avaliação

Nosso novo protocolo de avaliação se chama Itens Futuros Múltiplos (MFI). Esse método assume que uma boa recomendação deve considerar toda a sequência de itens futuros que um usuário pode achar interessante. Fazendo isso, modelos que conseguem classificar corretamente múltiplos itens futuros são recompensados.

Na prática, quando avaliamos um usuário, deixamos de lado uma parte do histórico de interação dele para fazer os testes, enquanto o resto é usado para treinar o modelo. Isso permite que o modelo entenda o panorama maior das preferências do usuário ao longo do tempo.

#Relevância dos Itens

Uma parte chave do nosso novo método de avaliação envolve entender a relevância dos itens. A ideia é que nem todos os itens são igualmente importantes; alguns podem ser mais relevantes do que outros com base na posição deles na história do usuário. Por exemplo, o próximo item que um usuário interage pode ser mais relevante do que um que aparece depois.

A gente classifica a relevância dos itens em diferentes funções. Algumas funções tratam todos os itens igualmente, enquanto outras dão mais importância aos itens que aparecem primeiro na sequência de interação. Isso ajuda o modelo a aprender quais itens priorizar durante o treinamento e a avaliação.

#Nova Função de Perda

Para ajudar os modelos a focarem em itens relevantes, introduzimos uma nova função de perda chamada perda baseada em relevância. Essa função de perda funciona atribuindo pesos diferentes aos itens com base na relevância deles. Durante o treinamento, o modelo é incentivado a prestar mais atenção nos itens que são mais importantes. Essa abordagem permite que o modelo aprenda melhor com os dados de treinamento e leva a um desempenho melhor ao fazer recomendações.

#Experimentos e Conjuntos de Dados

Testamos nossos métodos usando dados do mundo real de várias fontes. Dois dos conjuntos de dados vieram do MovieLens, que contém avaliações de filmes. Os outros conjuntos de dados vieram do Foursquare, que tem registros de check-in de usuários em diferentes cidades.

Para nossos experimentos, usamos um modelo chamado SASRec, que é bem popular na área de recomendação sequencial. Mantivemos configurações bem estabelecidas para garantir uma comparação justa enquanto avaliávamos como nosso novo protocolo de avaliação e função de perda se saíram.

#Resultados

Depois de rodar os testes, descobrimos que nossa nova abordagem leva a um desempenho melhor na recomendação de itens relevantes. Especificamente, nossos modelos mostraram melhorias significativas em certos métricas de avaliação, especialmente em cenários onde consideramos múltiplos itens futuros relevantes.

#Pergunta de Pesquisa 1: Protocolo de Avaliação Alternativo

Primeiro, queríamos ver se nosso novo método de avaliação poderia determinar melhor o modelo com melhor desempenho entre várias opções. Nos testes com o método tradicional, os resultados eram frequentemente mistos, sem um vencedor claro. No entanto, quando usamos nosso novo protocolo, as diferenças de desempenho ficaram evidentes. Nosso novo método foi muito melhor em identificar quais modelos realmente se saíram bem e quais não, especialmente em ambientes barulhentos.

#Pergunta de Pesquisa 2: Incorporando a Relevância dos Itens

Em seguida, exploramos se integrar a relevância dos itens no processo de treinamento poderia melhorar o desempenho. Nos nossos achados, os modelos que incluíam a relevância dos itens geralmente se saíram tão bem ou melhor do que os que não incluíam. Notavelmente, o modelo de relevância linear de itens frequentemente superou os outros e mostrou que considerar múltiplos itens relevantes pode levar a melhores recomendações.

#Pergunta de Pesquisa 3: Impacto dos Itens Futuros

Por fim, queríamos entender como o número de itens futuros considerados impacta o desempenho da avaliação e do treinamento. Nossos experimentos mostraram que os benefícios de considerar múltiplos itens futuros foram consistentes em diferentes cenários. Importante, ao usar o novo protocolo de avaliação, o desempenho dos modelos melhorou com o número de positivos no treinamento, indicando espaço para mais crescimento nas recomendações.

#Conclusão

Neste trabalho, desafiamos a visão tradicional dos Sistemas de Recomendação Sequencial que geralmente foca em prever apenas um próximo item imediato. Em vez disso, introduzimos um novo protocolo de avaliação para considerar múltiplos itens futuros e desenvolvemos uma função de perda baseada em relevância.

Nossas descobertas destacam a importância de focar em mais exemplos positivos durante o treinamento e a avaliação. Mostramos que nossos métodos levam a um desempenho melhor e podem superar os modelos existentes. Nossa abordagem garante que a relevância dos itens seja considerada de forma adequada, tornando o sistema de recomendação mais eficaz.

Seguindo em frente, acreditamos que ainda há potencial para mais melhorias nessa área. Nosso trabalho abre caminhos para sistemas de recomendação mais avançados e sutis que podem servir melhor os usuários em cenários do mundo real.