Avancées dans les systèmes de recommandation avec HSTU
La nouvelle architecture HSTU améliore les systèmes de recommandation pour une meilleure expérience utilisateur.
― 8 min lire
Table des matières
- Contexte des systèmes de recommandation
- Recommandations génératives
- Défis des modèles actuels
- Introduction de HSTU
- Caractéristiques clés de HSTU
- Approches génératives dans les recommandations
- Amélioration des performances
- L'importance de l'évolutivité
- Implications futures
- Conclusion
- Source originale
- Liens de référence
Les Systèmes de recommandation sont conçus pour suggérer des articles aux utilisateurs en fonction de leurs préférences et de leurs actions passées. Ils sont largement utilisés sur des plateformes comme les réseaux sociaux, les services de streaming et les sites de commerce en ligne. L'objectif est d'améliorer l'expérience utilisateur en proposant du contenu ou des produits pertinents. Avec l'augmentation des interactions des utilisateurs et le contenu qui s'ajoute constamment, ces systèmes doivent traiter efficacement d'énormes quantités de données pour fournir des recommandations précises.
Contexte des systèmes de recommandation
Les systèmes de recommandation traditionnels reposent souvent sur des modèles d'apprentissage profond capables de gérer des données diverses. Ils analysent le comportement des utilisateurs, leurs préférences et diverses caractéristiques pour proposer des suggestions. Cependant, les modèles existants rencontrent des défis en matière d'évolutivité. Beaucoup de ces systèmes ont du mal à utiliser efficacement les données complexes et volumineuses provenant de millions d'utilisateurs.
En conséquence, de nouvelles méthodes et modèles sont en cours de développement pour mieux gérer les tâches de recommandation. Une telle avancée consiste à considérer les problèmes de recommandation à travers le prisme du Traitement Séquentiel. Cela signifie traiter les actions des utilisateurs comme une partie d'un flux séquentiel, un peu comme le traitement de texte dans les tâches de langage naturel.
Recommandations génératives
Les modèles génératifs représentent une nouvelle approche pour faire des recommandations. Au lieu d'analyser uniquement le comportement passé pour suggérer des actions futures, ces modèles génèrent des recommandations sur la base d'une compréhension plus large des préférences et des comportements des utilisateurs. Cette approche peut potentiellement mener à une meilleure personnalisation et à des suggestions plus pertinentes.
L'idée clé derrière les recommandations génératives est de reformuler le processus de recommandation comme une tâche de transformation d'une séquence de données en une autre. Cela permet au modèle de gérer la nature changeante des préférences des utilisateurs et du paysage de contenu en constante évolution.
Défis des modèles actuels
Un défi majeur des systèmes de recommandation existants est qu'ils manquent souvent de la capacité à gérer des ensembles de caractéristiques extrêmement grands et diversifiés. À mesure que le comportement des utilisateurs évolue au fil du temps et que de nouveaux contenus sont constamment introduits, les systèmes doivent s'adapter sans être submergés. De plus, les modèles traditionnels peuvent ne pas capturer efficacement la complexité des préférences des utilisateurs, ce qui conduit à des recommandations moins efficaces.
Un autre défi est le coût computationnel associé au traitement de vastes quantités de données séquentielles. La plupart des modèles d'apprentissage profond actuels peuvent devenir lents et gourmands en ressources lorsqu'ils traitent de grands ensembles de données. Cela crée un besoin d'architectures plus efficaces pouvant évoluer parallèlement au volume croissant des interactions des utilisateurs.
Introduction de HSTU
Pour répondre à ces problèmes, une nouvelle architecture appelée Unités de Transduction Séquentielle Hiérarchique (HSTU) a été proposée. Ce design permet un traitement plus efficace des données séquentielles de haute dimension. HSTU tire parti des techniques modernes en apprentissage automatique pour améliorer la rapidité et réduire les coûts computationnels.
HSTU est conçu pour gérer les changements rapides des préférences des utilisateurs et peut évoluer efficacement, lui permettant de traiter des milliards d'actions utilisateur. Il modifie les mécanismes d'attention traditionnels utilisés dans l'apprentissage profond pour mieux répondre aux besoins uniques des systèmes de recommandation.
Caractéristiques clés de HSTU
HSTU se compose de couches connectées par des connexions résiduelles. Chaque couche a plusieurs composants principaux conçus pour faciliter le calcul et la représentation efficaces des données. Le design simplifie le traitement en fusionnant diverses tâches en structures unifiées, ce qui aide à gérer et interpréter le volume élevé de données généré par les utilisateurs.
Le mécanisme d'attention agrégé point par point utilisé dans HSTU est crucial. Cette approche permet au modèle de se concentrer sur les informations les plus pertinentes tout en ignorant le bruit, ce qui peut améliorer considérablement la qualité des recommandations. En se concentrant sur les historiques d'utilisateurs et leur engagement avec le contenu, le modèle peut générer des suggestions plus significatives.
Approches génératives dans les recommandations
En adoptant un cadre de modélisation générative, l'architecture HSTU permet aux systèmes de recommandation d'apprendre des actions des utilisateurs plus efficacement. Il utilise une approche séquentielle qui permet un apprentissage complet des données au fil du temps. Cela signifie qu'au lieu de considérer uniquement l'état actuel des préférences utilisateur, le modèle peut également tenir compte de l'évolution de ces préférences, menant à de meilleures recommandations.
L'approche générative permet au système de produire des recommandations plus adaptées à chaque utilisateur. Elle se concentre sur la compréhension des intentions et des préférences des utilisateurs de manière beaucoup plus approfondie. En traitant les recommandations comme une transformation d'une séquence à une autre, le modèle peut ajuster dynamiquement ses sorties en réponse aux changements de comportement des utilisateurs.
Amélioration des performances
HSTU a montré des résultats prometteurs lors des tests par rapport aux modèles de recommandation traditionnels basés sur l'apprentissage profond. Dans divers scénarios, il a surpassé les systèmes existants dans la génération de recommandations précises. Cette amélioration est particulièrement notable lors de tests A/B en ligne, où les nouveaux modèles ont démontré un avantage marqué en matière d'engagement et de satisfaction des utilisateurs.
Le design de l'architecture lui permet de s'entraîner efficacement sur un vaste volume de données. La capacité à gérer des ensembles de données à grande échelle est cruciale pour rendre les recommandations pertinentes pour les utilisateurs. L'efficacité de HSTU signifie qu'il peut fournir des réponses plus rapides, améliorant ainsi l'expérience utilisateur sur diverses plateformes.
L'importance de l'évolutivité
À mesure que les plateformes en ligne se développent, le volume de données qu'elles gèrent augmente de manière exponentielle. Les systèmes de recommandation doivent être capables d'évoluer en conséquence pour répondre aux demandes des utilisateurs. Le design de HSTU permet cette évolutivité, lui permettant de gérer des tâches de recommandation complexes sans perte de performance.
HSTU a été testé dans des environnements du monde réel, montrant qu'il peut gérer efficacement les exigences à grande échelle des systèmes de recommandation modernes. Les performances de l'architecture restent constantes même lorsqu'elle est confrontée à des charges de données accrues, en faisant un candidat solide pour le déploiement sur diverses plateformes.
Implications futures
L'avancement des systèmes de recommandation générative, notamment grâce à l'introduction de HSTU, promet beaucoup pour l'avenir de la livraison de contenu personnalisé. À mesure que des modèles comme HSTU évoluent, ils pourraient redéfinir fondamentalement la manière dont les utilisateurs interagissent avec le contenu et les produits en ligne.
Avec la capacité de créer des recommandations plus pertinentes et dynamiques, les plateformes peuvent améliorer l'engagement et la satisfaction des utilisateurs. Cela mène à de meilleures expériences utilisateur, à des taux de fidélisation accrus et, en fin de compte, à des entreprises plus prospères.
Dans un monde où la saturation du contenu est une préoccupation croissante, ces nouveaux modèles offrent un moyen de percer le bruit et de délivrer des expériences personnalisées qui résonnent vraiment avec les utilisateurs. En se concentrant sur les actions et les préférences des utilisateurs, les systèmes de recommandation générative peuvent aider les utilisateurs à découvrir du contenu qui correspond à leurs intérêts, améliorant ainsi la qualité globale de leurs expériences en ligne.
Conclusion
Les systèmes de recommandation jouent un rôle clé dans la façon dont les utilisateurs vivent des expériences dans des environnements numériques. L'évolution continue de ces systèmes souligne la nécessité de modèles efficaces, évolutifs et dynamiques qui peuvent s'adapter aux préférences des utilisateurs qui changent. L'introduction des approches génératives, notamment à travers des architectures comme HSTU, représente un pas en avant significatif.
En tirant parti des avancées en apprentissage automatique et en se concentrant sur les actions des utilisateurs, ces systèmes sont mieux équipés pour fournir des suggestions pertinentes. À mesure que la technologie continue d'évoluer, les méthodes et modèles utilisés dans les systèmes de recommandation évolueront également, ouvrant la voie à un engagement utilisateur plus personnalisé et efficace.
Titre: Actions Speak Louder than Words: Trillion-Parameter Sequential Transducers for Generative Recommendations
Résumé: Large-scale recommendation systems are characterized by their reliance on high cardinality, heterogeneous features and the need to handle tens of billions of user actions on a daily basis. Despite being trained on huge volume of data with thousands of features, most Deep Learning Recommendation Models (DLRMs) in industry fail to scale with compute. Inspired by success achieved by Transformers in language and vision domains, we revisit fundamental design choices in recommendation systems. We reformulate recommendation problems as sequential transduction tasks within a generative modeling framework ("Generative Recommenders"), and propose a new architecture, HSTU, designed for high cardinality, non-stationary streaming recommendation data. HSTU outperforms baselines over synthetic and public datasets by up to 65.8% in NDCG, and is 5.3x to 15.2x faster than FlashAttention2-based Transformers on 8192 length sequences. HSTU-based Generative Recommenders, with 1.5 trillion parameters, improve metrics in online A/B tests by 12.4% and have been deployed on multiple surfaces of a large internet platform with billions of users. More importantly, the model quality of Generative Recommenders empirically scales as a power-law of training compute across three orders of magnitude, up to GPT-3/LLaMa-2 scale, which reduces carbon footprint needed for future model developments, and further paves the way for the first foundational models in recommendations.
Auteurs: Jiaqi Zhai, Lucy Liao, Xing Liu, Yueming Wang, Rui Li, Xuan Cao, Leon Gao, Zhaojie Gong, Fangda Gu, Michael He, Yinghai Lu, Yu Shi
Dernière mise à jour: 2024-05-05 00:00:00
Langue: English
Source URL: https://arxiv.org/abs/2402.17152
Source PDF: https://arxiv.org/pdf/2402.17152
Licence: https://creativecommons.org/licenses/by-nc-sa/4.0/
Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.
Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.
Liens de référence
- https://www.internalfb.com/intern/px/p/48BRt
- https://www.internalfb.com/intern/px/p/48Vvc
- https://docs.google.com/document/d/1KAX74hBm60k7_-46TRQpu12lg-NIL4KA6b-g66LWvmU/edit#bookmark=id.rmmizrvf7eom
- www.internalfb.com/intern/tensorboard/?dir=transformer_fa2_6l_4h:manifold://deep_retrieval/tree/jobs/fire-jiaqiz-20231215-0737-a90f0330/tensorboard,,hstu_6l_4h:manifold://deep_retrieval/tree/jobs/fire-jiaqiz-20231216-1846-3f501e45/tensorboard,hstu_6l_2h:manifold://deep_retrieval/tree/jobs/fire-jiaqiz-20231216-1848-22220685/tensorboard,hstu_6l_1h:manifold://deep_retrieval/tree/jobs/fire-jiaqiz-20231216-1850-dc79c359/tensorboard,transformer_fa2_6l_8h:manifold://deep_retrieval/tree/jobs/fire-jiaqiz-20231216-1852-2638d781/tensorboard,transformer_fa2_6l_16h:manifold://deep_retrieval/tree/jobs/fire-jiaqiz-20231216-1854-96df0a49/tensorboard
- www.internalfb.com/intern/tensorboard/?dir=1127_1203_1204t_D51683784_cint_32nb64s50fwu_eo3opt_3l_1024n_r2:manifold://deep_retrieval/tree/jobs/fire-jiaqiz-20231205-1447-f172ca85/tensorboard,1127_1203_1210t_cint_32nb64s50fwu_3l_1024n_fa2_aa_4d_preln_r2_1215_50kwu:manifold://deep_retrieval/tree/jobs/fire-jiaqiz-20231216-1100-67ccd13d/tensorboard,1127_1203_1210t_cint_32nb64s50fwu_3l_1024n_fa2_aa_4d_preln_r2_1215_25kwu:manifold://deep_retrieval/tree/jobs/fire-jiaqiz-20231215-2025-d68a0ca9/tensorboard,1127_1203_1210t_cint_32nb64s50fwu_3l_1024n_fa2_aa_4d_preln_r2_1215_100kwu:manifold://deep_retrieval/tree/jobs/fire-jiaqiz-20231216-1901-1b7b767a/tensorboard,1127_1203_1210t_cint_32nb64s50fwu_3l_1024n_fa2_aa_4d_preln_r2_1215_200kwu:manifold://deep_retrieval/tree/jobs/fire-jiaqiz-20231216-1903-eea224ab/tensorboard
- https://fburl.com/scuba/feed_metrics_fb_shorts/ua7sikab
- https://fburl.com/scuba/feed_metrics_fb_shorts/i8vwddvr
- https://www.internalfb.com/intern/tensorboard/?dir=manifold%3A%2F%2Fdeep_retrieval%2Ftree%2Fjobs%2Ffire-jiaqiz-20240124-2333-3b71afd3%2Ftensorboard
- https://www.internalfb.com/vanguard/model_iterations/657863936319032
- https://fburl.com/deltoid3/eqc4yaau
- https://fburl.com/deltoid3/08nnbd80