Systèmes de recommandation évolutifs avec des LLMs

Ces dernières années, les grands modèles de langage (LLMs) sont devenus super populaires dans plein de domaines, surtout pour le traitement du langage naturel et le travail avec des images. Cette tendance s'applique aussi aux systèmes de recommandation, qui aident les gens à dénicher des trucs qu'ils pourraient aimer, comme des films, des chansons ou des restos. Cependant, la plupart des recherches traitent les LLMs juste comme une partie du processus de recommandation, par exemple, en les utilisant pour extraire des fonctionnalités des données. Cette approche ne tire pas vraiment parti de tout ce que peuvent faire les LLMs. Au lieu de découper le processus de recommandation en plusieurs étapes, comme le calcul des scores et le tri des éléments, on peut le simplifier. Les LLMs peuvent générer des recommandations directement à partir d'une liste complète d'articles.

Cet article passe en revue les progrès réalisés dans l'utilisation des LLMs pour générer des recommandations et discute des futures directions en posant trois questions principales. Premièrement, qu'est-ce que la recommandation générative ? Deuxièmement, pourquoi les systèmes de recommandation devraient-ils se tourner vers des Recommandations génératives ? Troisièmement, comment peut-on mettre en œuvre des recommandations génératives basées sur des LLMs pour différentes tâches ?

#Qu'est-ce que la recommandation générative ?

La recommandation générative est une méthode où un système de recommandation crée directement des suggestions sans avoir besoin de classer chaque élément candidat séparément. Ça contraste avec les systèmes de recommandation traditionnels qui utilisent souvent plusieurs étapes pour filtrer les éléments, ce qui peut être long et coûteux en ressources.

Dans les systèmes traditionnels, les premières étapes utilisent souvent des techniques de filtrage simples pour réduire un grand pool d'articles. Ce n'est qu'après ce filtrage que des algorithmes plus complexes peuvent être appliqués, ce qui peut mener à une situation où les modèles avancés ne sont pas utilisés sur tous les éléments. Au lieu de cela, les LLMs peuvent agir comme un pipeline unique qui génère des recommandations, réduisant le besoin de nombreuses étapes de filtrage.

#Pourquoi se tourner vers la recommandation générative ?

Il y a plusieurs raisons pour recommander un changement vers des méthodes génératives. Un gros problème avec les systèmes de recommandation traditionnels est le grand nombre d'articles qu'ils doivent traiter. Calculer des scores pour chaque élément peut être lent et gourmand en ressources. En passant à des recommandations génératives, ces systèmes peuvent efficacement générer des suggestions basées sur toute la base de données d'articles, plutôt que juste une petite partie.

Avec la capacité des LLMs à gérer de grandes quantités de données et à générer des réponses rapidement, ils peuvent combler le fossé entre la recherche académique et les applications du monde réel. Ce passage à un processus en une seule étape permet une meilleure intégration des techniques modernes de recommandation.

#Création d'identifiants uniques

Un aspect crucial des recommandations génératives est comment les éléments et les utilisateurs sont identifiés. Dans les systèmes de recommandation standard, chaque élément et utilisateur a un identifiant unique, souvent vu comme un seul token associé à un vecteur représentant ses caractéristiques. Cependant, les LLMs permettent une définition plus large de ces identifiants.

Dans ce contexte, un identifiant peut être une séquence de tokens qui identifie de manière unique une entité, comme un utilisateur ou un élément. Ces identifiants peuvent prendre différentes formes, y compris des tokens numériques, des tokens de mots ou une combinaison des deux. Par exemple, un produit peut être identifié à la fois par un code numérique et son titre.

La capacité de représenter les utilisateurs et les éléments comme des séquences de tokens permet aux LLMs de s'intégrer naturellement dans le processus de recommandation. Cette flexibilité ouvre de nouvelles avenues pour améliorer la manière dont les recommandations sont générées.

#Comment les LLMs changent le processus de recommandation

Avec les LLMs, le processus de recommandation peut être rationalisé. Au lieu de traiter chaque élément du pool, le modèle peut générer des identifiants d'éléments directement basés sur les données utilisateur. Cela signifie qu'à chaque étape, les LLMs peuvent produire une distribution de probabilité sur tous les identifiants possibles. Après quelques générations, ces tokens peuvent créer un identifiant complet pour l'élément recommandé.

Cela diffère fondamentalement des systèmes traditionnels, où les candidats sont tirés d'une liste filtrée. En revanche, les LLMs peuvent générer des éléments basés sur l'ensemble du pool, rendant le processus de recommandation plus efficace.

#Méthodes de création d'identifiants

Pour mettre en œuvre efficacement des recommandations génératives, les identifiants des éléments et des utilisateurs doivent être formatés de manière à être compatibles avec les LLMs. Différentes méthodes peuvent être utilisées pour créer ces identifiants, avec l'objectif de conserver les informations collaboratives dans les recommandations.

1. Décomposition en valeurs singulières : Cette méthode consiste à analyser les données d'interaction utilisateur-élément pour obtenir une matrice d'incorporation d'éléments. Après traitement, l'incorporation de chaque élément peut se transformer en une série d'entiers qui représentent son identifiant.

2. Quantification de produit : Ici, les incorporations d'éléments sont quantifiées pour créer des identifiants. La description textuelle d'un élément peut être codée, et des segments de cette incorporation peuvent être associés à des incorporations de centroïde pour créer un identifiant complet.

3. Indexation collaborative : Cette approche construit un graphe basé sur la co-occurrence d'éléments dans les historiques d'interaction des utilisateurs. En utilisant des techniques d'algèbre linéaire, les éléments peuvent être regroupés et attribués des identifiants uniques en fonction de leurs positions dans une structure hiérarchique.

Ces méthodes peuvent créer efficacement des identifiants tout en intégrant le Filtrage Collaboratif des systèmes traditionnels avec les forces des LLMs.

#Réalisation de recommandations génératives

Une fois les identifiants créés, diverses tâches de recommandation peuvent être effectuées en utilisant des LLMs. Voici quelques-uns d'entre eux :

#Prédiction de notation

Dans les systèmes traditionnels, prédire la note d'un utilisateur pour un élément implique de calculer un score basé sur les incorporations de l'utilisateur et de l'élément. Dans les LLMs, ces incorporations deviennent des séquences de tokens, qui peuvent ensuite être intégrées dans une invite qui demande au modèle de prédire une note. Le modèle peut générer une note numérique en sortie.

#Recommandation Top-N

La recommandation Top-N consiste à sélectionner un ensemble d'éléments à recommander à un utilisateur. Les méthodes traditionnelles calculent des scores pour tous les éléments dans une liste, ce qui peut devenir ingérable. Avec les LLMs, deux approches peuvent être adoptées :

1. Recommandation directe : Le modèle est sollicité avec des informations utilisateurs et génère des recommandations directement.

2. Recommandation sélective : Les données utilisateur sont combinées avec une liste de candidats plus petite, et le modèle sélectionne des éléments à recommander à partir de cette liste.

#Recommandation séquentielle

Cette méthode prédit le prochain élément avec lequel un utilisateur interagira en fonction de son comportement passé. Les interactions des utilisateurs sont suivies dans un ordre chronologique, et les LLMs peuvent générer des prédictions sur les interactions futures basées sur cet historique.

#Recommandation explicable

Fournir des raisons derrière les recommandations est essentiel pour la transparence. Les LLMs peuvent générer des explications en langage naturel, aidant les utilisateurs à comprendre le raisonnement derrière les suggestions.

#Génération de critiques

Les LLMs peuvent aussi aider à générer automatiquement des critiques pour les éléments, facilitant ainsi aux utilisateurs l'expression de leurs pensées après avoir interagi avec un produit ou un service.

#Résumé de critiques

Les longues critiques peuvent être difficiles à lire dans leur intégralité. Les LLMs peuvent résumer ces critiques, fournissant des points saillants concis qui aident les utilisateurs à saisir rapidement les idées principales.

#Recommandation conversationnelle

Cette méthode permet de faire des recommandations dans un format conversationnel, permettant aux utilisateurs d'exprimer librement leurs préférences. Le système peut interagir avec les utilisateurs, affinant les recommandations en fonction de leurs réponses.

#Évaluation des recommandations génératives

Pour mesurer l'efficacité des LLMs dans les tâches de recommandation, différentes métriques d'évaluation peuvent être utilisées.

• Pour les prédictions de notation, l'erreur quadratique moyenne (RMSE) et l'erreur absolue moyenne (MAE) sont des métriques standard.
• Dans les tâches de classement, des métriques telles que le gain cumulatif normalisé actualisé (NDCG), la précision et le rappel sont employées.
• Pour les tâches de génération de langage naturel, des métriques comme BLEU et ROUGE peuvent évaluer la qualité du contenu généré.

Malgré ces métriques existantes, il y a un besoin d'évaluations plus nuancées. Les méthodes actuelles peuvent souvent trop se concentrer sur la correspondance entre les sorties générées et les résultats attendus. Cette limitation indique que de nouvelles métriques pourraient être nécessaires pour capturer efficacement les divers aspects des recommandations génératives.

De plus, les évaluations humaines peuvent donner des aperçus sur la performance des LLMs. Cependant, concevoir ces évaluations peut être un défi.

#Défis et opportunités

#Hallucination

Un gros problème avec les LLMs est l'"hallucination", où le contenu généré ne correspond pas à la réalité. Dans les systèmes de recommandation, cela peut mener à proposer des éléments qui n'existent pas vraiment, ce qui peut frustrer les utilisateurs. Par exemple, recommander un restaurant qui a fermé pourrait être nuisible à la satisfaction des utilisateurs.

Des solutions pour atténuer l'hallucination incluent la conception soignée des identifiants d'éléments et l'utilisation de méthodes augmentées de récupération pour s'assurer que les éléments suggérés correspondent aux véritables entrées dans une base de données.

#Biais et équité

Le biais dans les systèmes de recommandation peut poser problème. Le biais de contenu fait référence aux biais dans le contenu généré lui-même, tandis que le biais de recommandation concerne les suggestions inégales basées sur des facteurs démographiques. Traiter ces biais peut améliorer l'expérience utilisateur et l'équité des recommandations.

#Transparence et explicabilité

Expliquer les recommandations est crucial. Les LLMs présentent à la fois des défis et des opportunités dans ce domaine. Générer des explications compréhensibles pour les suggestions est clé, tout comme approfondir la compréhension du modèle pour savoir comment il parvient à certaines conclusions.

#Contrôlabilité

Les utilisateurs peuvent vouloir contrôler quelles caractéristiques sont prises en compte dans les recommandations. Par exemple, si un utilisateur est particulièrement intéressé par le prix des articles, les recommandations devraient se concentrer sur cet aspect. Ce niveau de contrôle peut être difficile à atteindre avec les LLMs.

#Efficacité d'inférence

Étant donné la taille importante des LLMs, il est important d'améliorer leur efficacité opérationnelle. Des stratégies comme la mise en cache des résultats peuvent aider à accélérer les temps d'inférence, ce qui est essentiel pour les systèmes de recommandation en temps réel.

#Recommandation multimodale

Les LLMs peuvent intégrer des données provenant de diverses sources, y compris des images et de l'audio. Cette capacité ouvre de nouvelles portes pour des recommandations complètes qui englobent différents types de contenu.

#Problèmes de démarrage à froid

Les LLMs peuvent aider à résoudre les problèmes de démarrage à froid, où les nouveaux utilisateurs ou éléments manquent de données d'interaction. En tirant parti des métadonnées, les LLMs peuvent fournir des recommandations même lorsque l'historique d'interaction direct est minimal.

#Conclusion

Comme on l'a exploré, les LLMs ont le potentiel de transformer les systèmes de recommandation en les rendant plus efficaces, efficaces et conviviaux. En créant des recommandations génératives, on peut rationaliser le processus et éliminer bon nombre des défis rencontrés par les systèmes traditionnels. L'avenir verra probablement une approche plus intégrée, où les LLMs et les systèmes de recommandation travaillent ensemble pour offrir des services personnalisés de haute qualité dans divers domaines.