Évaluer le rôle de l'AutoML dans les systèmes de recommandation

L'apprentissage automatique automatisé (AutoML) change la façon dont on utilise l'apprentissage automatique (ML). Ça aide les gens à appliquer des techniques de ML dans différents domaines, comme la compression de modèles et la traduction de langues. Un domaine qui peut bénéficier de l'AutoML, c'est les systèmes de recommandation (RecSys). Les RecSys visent à prédire ce qu'un utilisateur pourrait aimer, comme des films ou des produits.

Cependant, il n'y a pas eu beaucoup d'intérêt pour l'utilisation de l'AutoML dans la communauté RecSys. De la même manière, est-ce que les RecSys reçoivent suffisamment d'attention de la part de la communauté AutoML ? Actuellement, il n'existe que quelques bibliothèques simples pour les systèmes de recommandation automatisés (AutoRecSys), qui viennent surtout de projets étudiants et manquent de la profondeur qu'on voit dans les bibliothèques AutoML établies.

Dans ce travail, on vise à découvrir comment l'AutoML performe quand il est utilisé par quelqu'un qui débute dans la création de systèmes de recommandation. On va comparer les performances de l'AutoML, de l'AutoRecSys, des méthodes ML standard et des Algorithmes RecSys en utilisant divers jeux de données. L'accent est mis sur la façon dont ces algorithmes fonctionnent avec les paramètres par défaut, ce qui est souvent ce qu'un utilisateur inexpérimenté ferait.

#Le défi

Construire un système de recommandation peut être assez compliqué. Les utilisateurs doivent choisir les bons algorithmes, sélectionner les caractéristiques, et optimiser plein de réglages, appelés hyperparamètres. Si quelqu'un n'est pas expérimenté et ne configure pas tout correctement, les recommandations peuvent ne pas répondre aux besoins des utilisateurs, ce qui peut avoir un impact négatif sur une entreprise.

L'AutoML aide à rendre les applications ML plus accessibles, permettant même à ceux qui n'ont pas de formation en ML de mettre en œuvre des algorithmes efficacement. Dans certains cas, l'AutoML peut même mieux performer que des experts utilisant des méthodes ML traditionnelles.

Les RecSys utilisent souvent l'approche ML pour suggérer des éléments aux utilisateurs ou prédire des notes. Cependant, mettre en place un RecSys peut être aussi compliqué que tout autre projet de ML. De nombreux algorithmes existent, et chacun a différents hyperparamètres qui doivent être ajustés. Un utilisateur inexpérimenté peut avoir du mal à naviguer dans ce processus, risquant d'obtenir des résultats insatisfaisants.

De plus, il y a un manque de bibliothèques automatisées matures spécifiquement pour les RecSys. Les bibliothèques automatiques actuelles manquent souvent des fonctionnalités et de la robustesse de celles établies. Les utilisateurs peuvent également formuler des tâches RecSys comme des problèmes de classification ou de régression, mais les défis restent les mêmes.

#Focus de recherche

Cela nous amène à notre question de recherche : Quelle est la performance des algorithmes AutoML sur les tâches RecSys par rapport à l'AutoRecSys, aux algorithmes ML et RecSys en utilisant des hyperparamètres par défaut ?

Notre objectif est d'évaluer l'état de l'art pour les novices dans ce domaine. On ne cherche pas à comprendre pourquoi certains algorithmes performent mieux que d'autres pour l'instant ; on vise simplement à évaluer comment ils se comportent en pratique.

Pour cela, on comparera plusieurs algorithmes provenant de différentes bibliothèques sur des jeux de données RecSys contenant des retours explicites, qui sont cruciaux pour prédire les notes des utilisateurs.

#Travaux connexes

À notre connaissance, il n'y a pas eu d'examen approfondi des bibliothèques AutoML sur plusieurs jeux de données RecSys. Certains travaux existants ont exploré l'utilisation de l'AutoML pour construire des ensembles dans les RecSys, mais l'accent n'a pas été mis sur la comparaison des performances.

L'AutoML a été appliqué dans d'autres domaines, y compris la vision par ordinateur et la traduction automatique. Plusieurs benchmarks existent pour comparer différents cadres AutoML, mais il manque une méthode standardisée pour évaluer les algorithmes RecSys. Cela signifie qu'il n'y a pas de collecte complète de jeux de données pour la recherche RecSys.

#Méthodologie

Pour évaluer la performance de plusieurs algorithmes, on utilise des jeux de données qui impliquent spécifiquement un retour explicite. Ces jeux de données contiennent des identifiants de clients, des identifiants d'articles et des timestamps, qui sont des caractéristiques clés lors de la notation des produits.

Dans notre évaluation, l'erreur quadratique moyenne (RMSE) sera calculée en utilisant une validation par retenue pour déterminer la performance prédictive de chaque algorithme. Tous les algorithmes fonctionneront avec les réglages par défaut, simulant la perspective d'un utilisateur inexpérimenté.

On a utilisé un outil d'évaluation basé sur Docker et des scripts de prétraitement pour tous les jeux de données RecSys. Les exécutions computationnelles ont eu lieu sur une station de travail puissante sur une période de 25 jours.

Notre évaluation se concentre uniquement sur les retours explicites dans la tâche RecSys, sans aborder les retours implicites ou les évaluations en ligne.

#Jeux de données sélectionnés

On a choisi plusieurs jeux de données bien connus pour notre étude, qui incluent :

• MovieLens : Ce jeu de données contient des évaluations d'utilisateurs pour des films et est largement utilisé dans la communauté RecSys. On a utilisé trois versions : 100k, 1M et le dernier 100k.

• Avis Amazon : On a regardé diverses catégories de produits, y compris l'électronique et la mode. On a utilisé les versions 5-core, en se concentrant sur les évaluations des utilisateurs aux côtés des métadonnées des articles.

• Autres sources : On a aussi inclus le jeu de données ouvert Yelp et le jeu de données du Prix Netflix, ce dernier étant réduit à dix millions d'instances en raison de contraintes de ressources.

Toutes les bibliothèques sélectionnées pour notre comparaison sont open source et peuvent prédire des retours explicites.

#Algorithmes comparés

Les algorithmes inclus dans notre comparaison proviennent de plusieurs bibliothèques, telles que :

• Auto-Surprise : Cette bibliothèque est une extension de la bibliothèque Surprise et s'occupe à la fois de la sélection des algorithmes et des hyperparamètres.

• AutoRec : Bien qu'elle permette d'utiliser AutoKeras, elle n'offre pas assez d'automatisation pour être qualifiée de bibliothèque AutoRecSys.

• Plusieurs autres bibliothèques comme LensKit et XGBoost ont également été utilisées dans notre étude.

On a créé une baseline qui prédit toujours la note moyenne basée sur les données d'entraînement.

#Configuration de l'expérience

On a prétraité les jeux de données pour garantir la compatibilité avec les algorithmes RecSys et ML. Les étapes de prétraitement ont été conçues pour garder les données aussi proches que possible de leur forme originale.

Pour chaque jeu de données sélectionné, on a documenté le nombre de clients, d'articles, d'instances et toute autre caractéristique supplémentaire.

Les réglages par défaut pour chaque algorithme ont été appliqués, et on a mis en place une limite de temps d'exécution. Si un algorithme prenait plus de temps qu'une durée spécifiée, il était interrompu pour garantir des comparaisons efficaces.

Les algorithmes qui n'ont pas terminé dans les limites de temps ou de ressources ont également été classés derniers dans nos analyses.

#Résultats

À travers nos évaluations, on a trouvé des taux de succès variés parmi les différents algorithmes. Bien que certains aient bien performé, un pourcentage notable a soit atteint les limites de mémoire, soit a dépassé le temps imparti.

La bibliothèque Auto-Surprise a montré la meilleure performance globale, atteignant les meilleures positions sur de nombreux jeux de données. Les outils AutoML comme FLAML et H2O ont également bien performé, tandis que les algorithmes ML standard se classaient souvent plus bas.

Nos résultats ont mis en évidence que l'AutoML et les bibliothèques AutoRecSys sont recommandées pour les utilisateurs inexpérimentés. Ces bibliothèques ont souvent mieux performé que les bibliothèques RecSys traditionnelles, offrant des solutions plus accessibles et conviviales.

#Discussion

Les résultats indiquent que les approches AutoML montrent beaucoup de promesses dans le contexte des RecSys, surtout puisqu'elles peuvent surpasser les méthodes traditionnelles. Même si les algorithmes RecSys ont toujours leurs forces, il y a un besoin clair de meilleures bibliothèques automatisées axées sur les tâches RecSys.

Cette analyse souligne un besoin croissant de bibliothèques AutoRecSys sophistiquées qui peuvent faire le lien entre les avancées de l'AutoML et les exigences des RecSys.

#Conclusion

En conclusion, les bibliothèques AutoML et AutoRecSys peuvent aider les utilisateurs inexpérimentés à s'aventurer dans le monde des systèmes de recommandation. Notre recherche souligne l'importance d'outils conviviaux tout en mettant en avant la nécessité d'une certaine forme d'orientation dans le choix des algorithmes.

L'étude a ouvert la voie à de futures explorations dans ce domaine. Il y a encore place à l'amélioration, notamment dans le développement de bibliothèques automatisées plus robustes qui peuvent pleinement servir les besoins divers des applications RecSys.

En se concentrant sur l'extension des cadres AutoML dans l'espace RecSys, on peut faciliter la mise en œuvre de ces systèmes, élargissant ainsi leur applicabilité et leur accessibilité.

Le potentiel d'une meilleure performance, notamment avec des jeux de données de retours implicites, reste un domaine ouvert à explorer. Dans l'ensemble, ce travail vise à susciter davantage d'intérêt et d'innovation dans le domaine des systèmes de recommandation automatisés.