Avançando Recomendações Baseadas em Localização com Modelos de Linguagem

A recomendação do próximo ponto de interesse (POI) é uma tarefa importante para Redes Sociais Baseadas em Localização (LBSN). Essa tarefa envolve prever pra onde um usuário vai a partir dos dados de visitas passadas. Os dados de LBSN são ricos em contexto, incluindo hora, tipo de lugar e coordenadas de localização, o que pode melhorar as recomendações. Mas tem uns desafios em usar esse contexto de forma eficaz. Métodos tradicionais costumam reduzir esses dados a números, perdendo informações importantes. Nosso trabalho explora como usar grandes modelos de linguagem (LLM) pra navegar nesses desafios e melhorar as recomendações aproveitando esses dados contextuais.

#O Problema

Nas LBSN, os usuários costumam ter comportamentos variados e complexos que envolvem visitar diferentes lugares com base em muitos fatores. Por exemplo, um estudante pode frequentar prédios da faculdade durante o horário escolar, mas agir de forma diferente durante os intervalos. Os métodos existentes geralmente têm dificuldades com histórias de visita curtas e novos usuários, tornando as previsões precisas difíceis. Eles não conseguem capturar o rico contexto encontrado nos dados de LBSN, que pode oferecer insights sobre o comportamento do usuário.

#Nossa Abordagem

A gente propõe uma nova estrutura que usa LLMs pré-treinados pra lidar melhor com o rico contexto nos dados de LBSN. Nosso método permite preservar o formato original desses dados, o que significa que podemos usar todas as informações contextuais sem perder seu significado. Ao incluir conhecimento de senso comum, conseguimos entender melhor o contexto, possibilitando previsões mais precisas.

#Prompt de Trajetória

Nossa estrutura transforma a tarefa de recomendar o próximo POI em um formato de pergunta-resposta. Pegamos os registros de check-in dos usuários e os convertemos em prompts que podem ser processados por LLMs. Esses prompts incluem informações sobre a trajetória atual, visitas históricas, instruções e o POI alvo. Essa estrutura permite que o modelo utilize os dados em seu formato original sem reduzi-los a números.

#Similaridade de Chave e Consulta

Pra tornar as recomendações mais eficazes, apresentamos um método chamado similaridade de chave-consulta. Esse método permite que o modelo compare trajetórias atuais com as históricas, mesmo as de diferentes usuários. Assim, nossa estrutura pode encontrar padrões de visita semelhantes e usá-los pra melhorar as previsões, especialmente pra novos usuários.

#Integração de Conhecimento de Senso Comum

O LLM que usamos foi pré-treinado em um grande conjunto de dados que inclui conhecimento de senso comum. Isso permite que ele entenda o significado inerente às informações contextuais nos dados de LBSN. Ao integrar esse conhecimento, nosso modelo consegue interpretar melhor os dados e fazer previsões mais informadas.

#Experimentos e Resultados

Pra testar nossa estrutura, realizamos experimentos em três conjuntos de dados reais de LBSN: Foursquare em Nova York, Foursquare em Tóquio e Gowalla na Califórnia. Processamos os dados cuidadosamente, excluindo registros com poucas visitas e organizando-os cronologicamente. Para nossos testes, ajustamos nosso modelo pra prever o próximo POI e o comparamos com vários modelos de referência.

#Comparação de Desempenho

Nosso modelo superou significativamente os métodos tradicionais nos três conjuntos de dados. Por exemplo, em Nova York, notamos uma melhoria de 23,3% na precisão em comparação com o melhor modelo existente. A incorporação de informações históricas e colaborativas nos permitiu enfrentar desafios como o problema do cold-start pra novos usuários.

#Problema de Cold-Start

Um dos principais problemas em sistemas de recomendação é o cold-start, que acontece quando não há dados históricos suficientes pra fazer previsões precisas pra novos usuários. Nosso método abordou isso de forma eficaz usando a similaridade de chave-consulta, que ajuda a reunir insights dos dados de outros usuários. Nossos experimentos mostraram que nosso modelo teve um desempenho melhor para usuários inativos do que as referências, indicando que nossa abordagem aproveita bem a informação diversificada dos usuários.

#Análise dos Comprimentos de Trajetória

Além de examinar o problema de cold-start, analisamos como diferentes comprimentos de trajetória afetaram nossas recomendações. Trajetórias curtas tendem a ter informações mínimas, tornando-as mais difíceis de analisar. Através do nosso método, descobrimos que conseguimos melhorias substanciais pra trajetórias curtas em Nova York. No entanto, esse desempenho variou em outros conjuntos de dados. No geral, nossa abordagem continua eficaz em diferentes comprimentos de trajetória.

#Importância dos Dados Históricos

Também exploramos como o número de registros de check-in históricos usados influencia a eficácia do nosso modelo. Nossas descobertas indicaram que não existe uma solução única; o número ótimo de visitas históricas varia de acordo com o conjunto de dados. Em Nova York, menos registros históricos tiveram o melhor desempenho, enquanto em Tóquio, mais registros contribuíram positivamente pras previsões.

#Generalização pra Dados Não Vistos

Uma característica notável do nosso modelo é sua capacidade de generalizar bem pra dados não vistos. Ao ajustar o modelo em um conjunto de dados e avaliá-lo em outros, descobrimos que ele manteve um desempenho competitivo. Isso sugere que podemos aplicar nossas recomendações em diferentes contextos sem precisar re-treinar, economizando tempo e recursos.

#Papel da Informação Contextual

A força única da nossa estrutura está na sua capacidade de utilizar informações contextuais de forma eficaz. Testamos o modelo novamente, mascarando os dados contextuais. Os resultados mostraram uma queda no desempenho, ressaltando a importância de entender o contexto pra fazer recomendações precisas. No geral, a integração bem-sucedida de conhecimento de senso comum e consciência contextual melhora significativamente nossa capacidade de prever o comportamento do usuário.

#Conclusão

Em conclusão, apresentamos uma estrutura que usa grandes modelos de linguagem pra tarefa de recomendação do próximo POI. Ao transformar a tarefa em um modelo de pergunta-resposta e integrar conhecimento de senso comum, conseguimos explorar melhor as ricas informações contextuais disponíveis nos dados de LBSN. Nossos experimentos aprofundados provam a eficácia do nosso método em comparação com modelos existentes, abordando particularmente desafios como o problema de cold-start e os diferentes comprimentos das trajetórias dos usuários. Trabalhos futuros pretendem refiná-lo ainda mais, aprimorar sua eficiência e potencialmente expandir sua aplicabilidade pra cenários mais amplos em sistemas de recomendação.