Simple Science

La science de pointe expliquée simplement

# Informatique# Recherche d'informations# Calcul et langage

Améliorer les recommandations d'actualités grâce à la modélisation du comportement des utilisateurs

Une méthode qui combine le pré-entraînement et la modélisation du comportement des utilisateurs améliore les recommandations d'actualités.

― 7 min lire


Systèmes deSystèmes derecommandation de news denouvelle générationavancée des utilisateurs.d'actus grâce à une modélisationRévolutionner les recommandations
Table des matières

Les systèmes de recommandation d'actualités aident les utilisateurs à trouver des articles sur lesquels ils sont susceptibles de cliquer en se basant sur leurs habitudes de lecture précédentes. Le but principal est de suggérer des nouvelles qui correspondent à ce qui intéresse l'utilisateur. Pour que ça marche bien, il est important de comprendre comment représenter correctement les comportements des utilisateurs. Beaucoup de méthodes existantes se concentrent principalement sur le perfectionnement des techniques à un stade ultérieur, une fois que le modèle est déjà entraîné. Cependant, il y a un manque dans le développement de méthodes de pré-entraînement qui se concentrent sur la représentation des utilisateurs avant le raffinement.

Cet article présente une méthode qui combine le pré-entraînement non supervisé avec la Modélisation du comportement des utilisateurs pour améliorer les systèmes de recommandation d'actualités. La méthode vise à mieux comprendre les habitudes des utilisateurs sans avoir besoin de données étiquetées. Cette approche consiste en deux tâches lors du pré-entraînement : masquer les comportements des utilisateurs et générer des comportements d'utilisateurs.

Modélisation du Comportement des Utilisateurs

Pour faire des recommandations précises, le système doit apprendre à connaître les comportements des utilisateurs. Cela implique de comprendre quels articles les utilisateurs ont lus auparavant et d'utiliser ces informations pour prédire quels articles ils pourraient aimer à l'avenir. Typiquement, les systèmes existants peuvent impliquer des architectures complexes et un traitement séparé pour les données des utilisateurs et des nouvelles, ce qui peut diluer l'efficacité du modèle.

Dans notre approche, on simplifie ça en utilisant un seul encodeur qui peut traiter ensemble les informations des utilisateurs et des nouvelles. Cette approche unifiée permet un meilleur alignement des comportements des utilisateurs avec les articles d'actualités recommandés.

Tâches de Pré-Entraînement

Masquage du Comportement des Utilisateurs

La première tâche de pré-entraînement consiste à masquer des parties de l'historique de lecture de l'utilisateur. Pendant cette tâche, des segments de données de comportement des utilisateurs sont cachés, et le boulot du modèle est de prédire les informations manquantes en utilisant le contexte restant. En travaillant là-dessus, le modèle apprend des schémas plus forts sur la façon dont les utilisateurs interagissent avec le contenu des nouvelles.

Cette tâche aide à s'assurer que le modèle fait attention aux relations entre différents comportements, renforçant ainsi la compréhension des habitudes de lecture des utilisateurs de manière plus efficace.

Génération du Comportement des Utilisateurs

La seconde tâche se concentre sur la génération des comportements des utilisateurs. Une fois que l'encodeur comprend le contexte de l'utilisateur, il essaie de recréer tout l'historique de lecture basé sur le vecteur utilisateur fourni. Cette tâche de génération enrichit les connaissances du modèle et permet une compréhension plus détaillée des préférences des utilisateurs.

En employant les deux tâches pendant le pré-entraînement, le modèle devient plus habile à apprendre les habitudes des utilisateurs sans avoir besoin de données étiquetées extensives.

Processus de Raffinement

Une fois le pré-entraînement terminé, l'étape suivante consiste à affiner le modèle sur des tâches de recommandation d'actualités réelles. À ce stade, le modèle travaille avec de vraies données utilisateurs et articles d'actualités pour améliorer encore ses recommandations. Une architecture partagée pour les vecteurs des utilisateurs et des nouvelles est utilisée pendant cette phase, ce qui conduit à des performances plus cohérentes.

Le processus de raffinement est géré avec soin, s'assurant que le modèle s'adapte bien aux caractéristiques spécifiques de la recommandation d'actualités tout en maintenant la compréhension générale acquise lors du pré-entraînement.

Évaluation Expérimentale

Pour tester l'efficacité de cette nouvelle approche, des expériences ont été menées en utilisant un ensemble de données du monde réel connu sous le nom de MIND. Cet ensemble de données inclut des millions d'interactions des utilisateurs avec des articles d'actualités, permettant une évaluation complète des performances du modèle.

Différents métriques comme AUC, MRR et nDCG ont été utilisés pour mesurer à quel point le modèle performe par rapport à diverses méthodes existantes. Les résultats ont indiqué des améliorations significatives par rapport aux modèles précédents, montrant que la nouvelle méthode fournit de meilleures recommandations en comprenant efficacement les comportements des utilisateurs.

Gains de Performance

À travers les résultats expérimentaux, le modèle a montré des améliorations de performance notables. Comparé à des systèmes bien établis, le nouveau modèle les a surpassés sur divers indicateurs, soulignant les avantages d'incorporer un pré-entraînement non supervisé axé sur les comportements des utilisateurs.

Les deux tâches impliquées dans le pré-entraînement ont rendu le modèle beaucoup plus capable de faire des prédictions précises concernant les intérêts des utilisateurs. La modélisation conjointe du comportement des utilisateurs pendant les étapes de pré-entraînement et de raffinement a abouti à un processus simplifié pour obtenir des recommandations efficaces.

Importance de la Modélisation Conjointe

L'approche met l'accent sur l'importance de la modélisation conjointe dans les systèmes de recommandation. En se concentrant sur la façon dont les comportements des utilisateurs se rapportent aux articles d'actualités, le modèle peut créer une représentation plus cohérente des deux éléments. Au lieu de traiter les utilisateurs et les articles comme des entités séparées, cette méthode leur permet de s'informer mutuellement, ce qui conduit à une meilleure compréhension et des recommandations.

Implications Pratiques

Ce nouveau modèle a des implications pratiques pour quiconque travaille sur des systèmes de recommandation d'actualités. En améliorant la modélisation du comportement des utilisateurs grâce au pré-entraînement, les développeurs peuvent créer des systèmes qui fournissent aux utilisateurs du contenu plus pertinent. Cela pourrait conduire à une meilleure engagement et satisfaction des utilisateurs, bénéficiant finalement à la fois aux utilisateurs et aux plateformes qu'ils utilisent.

Défis et Travaux Futurs

Malgré les résultats prometteurs, il y a des défis à considérer. La dépendance à de grandes ressources de calcul pour le pré-entraînement avec les PLMs peut être un obstacle pour certains. Cette méthode nécessite également un traitement plus complexe lors de l'inférence par rapport à des méthodes plus simples.

Les travaux futurs pourraient explorer des moyens de simplifier l'architecture davantage ou de réduire les exigences en ressources pour l'application pratique. De plus, examiner comment utiliser efficacement ce modèle dans des situations à faibles ressources pourrait élargir son applicabilité et son utilité.

Conclusion

En résumé, cette approche des systèmes de recommandation d'actualités souligne l'importance de comprendre les comportements des utilisateurs grâce à une modélisation efficace. En introduisant des tâches de pré-entraînement non supervisées axées sur les habitudes des utilisateurs, le modèle acquiert une compréhension solide des préférences des utilisateurs, menant à de meilleures recommandations. Les améliorations significatives de performance par rapport aux méthodes existantes démontrent le potentiel de ce nouveau cadre dans des applications pratiques.

Créer des systèmes de recommandation d'actualités plus centrés sur l'utilisateur améliore non seulement l'expérience utilisateur, mais stimule également l'engagement. À mesure que les technologies évoluent, peaufiner ces approches sera crucial pour répondre aux besoins dynamiques des utilisateurs à l'ère numérique.

Source originale

Titre: PUNR: Pre-training with User Behavior Modeling for News Recommendation

Résumé: News recommendation aims to predict click behaviors based on user behaviors. How to effectively model the user representations is the key to recommending preferred news. Existing works are mostly focused on improvements in the supervised fine-tuning stage. However, there is still a lack of PLM-based unsupervised pre-training methods optimized for user representations. In this work, we propose an unsupervised pre-training paradigm with two tasks, i.e. user behavior masking and user behavior generation, both towards effective user behavior modeling. Firstly, we introduce the user behavior masking pre-training task to recover the masked user behaviors based on their contextual behaviors. In this way, the model could capture a much stronger and more comprehensive user news reading pattern. Besides, we incorporate a novel auxiliary user behavior generation pre-training task to enhance the user representation vector derived from the user encoder. We use the above pre-trained user modeling encoder to obtain news and user representations in downstream fine-tuning. Evaluations on the real-world news benchmark show significant performance improvements over existing baselines.

Auteurs: Guangyuan Ma, Hongtao Liu, Xing Wu, Wanhui Qian, Zhepeng Lv, Qing Yang, Songlin Hu

Dernière mise à jour: 2023-10-30 00:00:00

Langue: English

Source URL: https://arxiv.org/abs/2304.12633

Source PDF: https://arxiv.org/pdf/2304.12633

Licence: https://creativecommons.org/licenses/by/4.0/

Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.

Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.

Plus d'auteurs

Articles similaires