Avancer les recommandations basées sur la localisation avec des modèles de langage

La recommandation du prochain point d'intérêt (POI) est une tâche super importante pour les Réseaux sociaux basés sur la localisation (LBSN). Ça consiste à prédire où un utilisateur va aller ensuite en se basant sur ses données de visites passées. Les données LBSN sont riches en contexte, avec des infos comme l'heure, le type d'endroit et les coordonnées, ce qui peut améliorer les recommandations. Mais il y a des défis pour utiliser ce contexte de manière efficace. Les méthodes traditionnelles réduisent souvent ces données à des chiffres, ce qui fait perdre des infos importantes. Notre travail explore comment utiliser de grands modèles de langage (LLM) pour surmonter ces défis et améliorer les recommandations en tirant parti de ces données contextuelles.

#Le Problème

Dans les LBSN, les utilisateurs ont souvent des comportements variés et complexes, visitant différents endroits selon plein de facteurs. Par exemple, un étudiant peut visiter souvent des bâtiments du collège pendant les heures de cours, mais se comporter différemment pendant les pauses. Les méthodes existantes galèrent souvent avec les historiques de visites courts et les nouveaux utilisateurs, rendant les prédictions difficiles. Elles ne capturent pas le riche contexte qu'on trouve dans les données LBSN, qui peuvent donner des indications sur le comportement des utilisateurs.

#Notre Approche

On propose un nouveau cadre qui utilise des LLM pré-entraînés pour mieux gérer le riche contexte des données LBSN. Notre méthode permet de préserver le format original de ces données, ce qui signifie qu'on peut utiliser toutes les infos contextuelles sans perdre leur sens. En intégrant des connaissances de bon sens, on peut mieux comprendre le contexte, ce qui permet des prédictions plus précises.

#Proposition de Trajectoire

Notre cadre transforme la tâche de recommandation du prochain POI en un format de question-réponse. On prend les enregistrements de check-in des utilisateurs et on les convertit en prompts qu'un LLM peut traiter. Ces prompts incluent des infos sur la trajectoire actuelle, les visites historiques, des instructions et le POI ciblé. Cette structure permet au modèle d'utiliser les données dans leur format original sans les réduire à des chiffres.

#Similarité Clé-Requête

Pour rendre les recommandations plus efficaces, on introduit une méthode appelée similarité clé-requête. Cette méthode permet au modèle de comparer les trajectoires actuelles avec des historiques, même celles d'autres utilisateurs. En faisant ça, notre cadre peut trouver des motifs de visites similaires et les utiliser pour améliorer les prédictions, surtout pour les nouveaux utilisateurs.

#Intégration de Connaissances de Bon Sens

Le LLM qu'on utilise a été pré-entraîné sur un gros dataset qui inclut des connaissances de bon sens. Ça lui permet de comprendre le sens inhérent derrière les infos contextuelles dans les données LBSN. En intégrant cette connaissance, notre modèle peut mieux interpréter les données et faire des prédictions plus éclairées.

#Expériences et Résultats

Pour tester notre cadre, on a réalisé des expériences sur trois jeux de données LBSN réels : Foursquare à New York, Foursquare à Tokyo, et Gowalla en Californie. On a soigneusement traité les données, en excluant les enregistrements avec peu de visites et en les triant chronologiquement. Pour nos tests, on a affiné notre modèle pour prédire le prochain POI et on l'a comparé à plusieurs modèles de base.

#Comparaison des Performances

Notre modèle a largement surpassé les méthodes traditionnelles dans les trois jeux de données. Par exemple, à New York, on a noté une amélioration de 23,3 % en précision par rapport au meilleur modèle existant. L'intégration d'infos historiques et collaboratives nous a permis de relever des défis comme le problème du démarrage à froid pour les nouveaux utilisateurs.

#Problème du Démarrage à Froid

Un des problèmes majeurs dans les systèmes de recommandation est le problème du démarrage à froid, qui arrive quand il n'y a pas assez de données historiques pour faire des prédictions précises pour de nouveaux utilisateurs. Notre méthode a efficacement abordé ça en utilisant la similarité clé-requête, qui aide à recueillir des insights à partir des données d'autres utilisateurs. Nos expériences ont montré que notre modèle performait mieux pour les utilisateurs inactifs par rapport aux benchmarks, ce qui indique que notre approche utilise efficacement les infos diversifiées des utilisateurs.

#Analyse des Longueurs de Trajectoire

En plus d'examiner le problème du démarrage à froid, on a analysé comment différentes longueurs de trajectoire affectent nos recommandations. Les courtes trajectoires ont tendance à avoir peu d'infos, ce qui les rend plus difficiles à analyser. Grâce à notre méthode, on a constaté qu'on avait réalisé des améliorations substantielles pour les courtes trajectoires à New York. Cependant, ces performances variaient dans d'autres jeux de données. Dans l'ensemble, notre approche reste efficace, peu importe la longueur de la trajectoire.

#Importance des Données Historiques

On a aussi exploré comment le nombre d'enregistrements de check-in historiques utilisés influence l'efficacité de notre modèle. Nos résultats ont montré qu'il n'y a pas d'approche universelle ; le nombre optimal de visites historiques varie selon le jeu de données. À New York, moins d'enregistrements historiques ont mieux fonctionné, tandis qu'à Tokyo, plus d'enregistrements ont contribué positivement aux prédictions.

#Généralisation à des Données Invisibles

Une caractéristique notable de notre modèle est sa capacité à bien généraliser à des données invisibles. En affinant le modèle sur un jeu de données et en l'évaluant sur d'autres, on a constaté qu'il maintenait une performance compétitive. Ça suggère qu'on peut appliquer nos recommandations à différents contextes sans avoir besoin de réentraîner, ce qui fait gagner du temps et des ressources.

#Rôle des Infos Contextuelles

La force unique de notre cadre réside dans sa capacité à utiliser les infos contextuelles efficacement. On a testé à nouveau le modèle en masquant les données contextuelles. Les résultats ont montré une baisse de performance, soulignant l'importance de comprendre le contexte pour faire des recommandations précises. Dans l'ensemble, l'intégration réussie des connaissances de bon sens et de la conscience contextuelle améliore considérablement notre capacité à prédire le comportement des utilisateurs.

#Conclusion

En conclusion, on a présenté un cadre qui exploite de grands modèles de langage pour la tâche de recommandation du prochain POI. En transformant la tâche en un modèle de question-réponse et en intégrant des connaissances de bon sens, on peut mieux exploiter les riches infos contextuelles disponibles dans les données LBSN. Nos expériences approfondies prouvent l'efficacité de notre méthode par rapport aux modèles existants, en abordant particulièrement des défis comme le problème du démarrage à froid et les longueurs variées des trajectoires des utilisateurs. Les travaux futurs viseront à affiner encore plus le modèle, à améliorer son efficacité et potentiellement à élargir son applicabilité à des scénarios plus larges dans les systèmes de recommandation.