Relever les défis du e-commerce avec des LLMs

Les grands modèles linguistiques (LLMs) ont attiré beaucoup d'attention pour leur utilité dans divers domaines, en particulier dans les tâches liées au e-commerce. Le e-commerce implique plein d'interactions entre les produits et les utilisateurs, ce qui en fait un super terrain pour appliquer les LLMs. Cependant, utiliser des LLMs généraux pour le e-commerce peut être un peu galère à cause des termes et concepts uniques qui sont spécifiques à ce domaine.

Pour aider avec ça, on a créé un guide appelé EC-Guide. Ce guide est spécialement conçu pour affiner les instructions et quantifier les LLMs pour les tâches de e-commerce. On a aussi utilisé une méthode appelée Chain-of-Thought (CoT) pendant le processus, qui aide à améliorer les performances du modèle dans la gestion des problèmes arithmétiques. Notre approche nous a permis de nous faire remarquer dans des compétitions centrées sur les défis du shopping en ligne. De plus, notre méthode peut être utilisée avec différents modèles, ce qui lui permet de bien fonctionner avec de plus grands systèmes.

#Le défi du e-commerce

Le e-commerce présente des défis complexes dû à la grande variété de termes de shopping, de comportements des utilisateurs et de variations de produits. Récemment, les LLMs ont montré du potentiel pour s’attaquer à ces difficultés. Pour soutenir cela, une compétition appelée Amazon KDD Cup'24 a été organisée. Cette compétition a introduit ShopBench, un benchmark pour simuler les complexités du shopping en ligne avec 57 tâches et environ 20 000 questions basées sur des données réelles d'Amazon.

La compétition avait plusieurs pistes, chacune se concentrant sur différents aspects du shopping en ligne :

1. Compréhension des concepts de shopping : Cette piste concerne la compréhension des termes et concepts de shopping compliqués.
2. Raisonnement sur les connaissances de shopping : Cette piste traite de la prise de décisions éclairées liées aux connaissances de shopping.
3. Alignement du comportement des utilisateurs : Cette piste examine comment comprendre les changements de comportement des clients.
4. Capacités multilingues : Cette piste se concentre sur la gestion de plusieurs langues pendant le shopping.
5. Tout-en-un : Cette piste attend une seule solution pour couvrir toutes les questions.

Notre équipe, appelée "ZJU-AI4H," a bien performé dans cette compétition, obtenant la deuxième place dans une piste et la cinquième dans une autre. Notre solution impliquait trois étapes principales : créer des Jeux de données, affiner les instructions, et quantifier le modèle après l'entraînement. On a découvert que le raisonnement Chain-of-Thought pouvait vraiment améliorer les performances de nos calculs arithmétiques.

#Construction de jeu de données

Pour construire un bon jeu de données pour l'affinage des instructions, on a créé EC-Guide, qui contient 74 000 exemples à travers différents types de tâches. Ces types de tâches incluent :

• Génération : Ici, chaque question vient avec des instructions spécifiques, et le modèle doit générer un texte qui suit ces instructions. On avait diverses sous-tâches comme Élaboration de produit, Question et réponse sur le produit, et plus.

• Questions à choix multiples : Cette tâche consiste à choisir la bonne réponse parmi une liste. On a conçu plusieurs sous-tâches dans cette catégorie, comme prédire les relations entre produits et analyse de sentiment.

• Récupération : Dans cette tâche, le modèle doit trouver des réponses à partir d'une liste d'articles disponibles. On a développé des sous-tâches pour inférer des achats potentiels et récupérer des extraits de critiques.

• Classement : Le but ici est de réorganiser les articles en fonction de la manière dont ils répondent aux besoins de l’utilisateur.

• Reconnaissance d'entités nommées : Cette tâche se concentre sur l'identification des entités nommées dans le texte, ce qui est crucial pour comprendre et catégoriser l'information dans le e-commerce.

#Affinage des instructions

L'affinage des instructions aide à améliorer la capacité du modèle à fournir des réponses précises en fonction des instructions qu'il reçoit. En entraînant le modèle avec un jeu de données soigneusement sélectionné, on visait à l'aider à comprendre ce qui est nécessaire pour diverses tâches de e-commerce. L'objectif était d'améliorer sa capacité à générer des réponses pertinentes.

Quand on déploie des modèles plus grands, c’est important d'utiliser des méthodes efficaces pour économiser de la mémoire et accélérer le processus. Une de ces méthodes est la Quantification, qui nous permet de convertir des paramètres haute précision en formats basse précision sans changer la structure du modèle.

#Quantification post-formation

Les modèles deviennent plus capables à mesure qu'ils grandissent, mais cela signifie aussi qu'ils nécessitent plus de puissance de calcul lors de leur utilisation. Comme les grands modèles stockent souvent leurs paramètres en formats haute précision, ils peuvent être lents et demander beaucoup de ressources. Pour y remédier, on a appliqué une méthode de quantification qui aide à rendre le modèle plus léger et plus rapide tout en gardant sa précision.

On a soigneusement échantillonné des exemples d'entraînement en fonction des types de tâches de notre jeu de données pour garantir une quantification efficace. On a aussi comparé notre approche à des échantillons d'autres sources externes pour mesurer la performance de notre méthode.

#Raisonnement Chain-of-Thought (CoT)

Une fois qu'on a terminé les phases d'affinage des instructions et de quantification, on a introduit le raisonnement Chain-of-Thought pendant la phase d'inférence. Ça signifie qu'on utilise une stratégie spécifique quand le modèle fait face à des questions qui impliquent des calculs. Dans de tels cas, on pousse le modèle à réfléchir étape par étape, ce qui l'aide à arriver à la bonne réponse. Par exemple, dire simplement "Pensons étape par étape" peut amener le modèle à mieux performer dans des tâches liées.

#Résultats et performances

À travers notre processus d'entraînement et d'affinage, on a observé des améliorations significatives. On a mesuré la performance de différents modèles sous des conditions d'entraînement similaires. Notamment, un de nos modèles a obtenu les meilleurs scores dans les deux pistes de la compétition. On a aussi constaté que les modèles utilisant des données spécifiques au domaine pour la quantification ont mieux performé que ceux utilisant des données externes, ce qui souligne l'importance de matériel d'entraînement pertinent.

Notre étude a également mis en avant une découverte intéressante : dans certains cas, des jeux de données d'entraînement plus petits pouvaient donner de meilleurs résultats que des plus grands. Cela suggère que la composition du jeu de données d'entraînement peut vraiment affecter la performance.

#Conclusion

La compétition à l'Amazon KDD Cup’24 a posé un test unique pour l'application des LLMs dans le domaine du e-commerce. Notre solution a impliqué une stratégie bien planifiée qui comprenait la construction de jeux de données, l'affinage des instructions et la quantification après l'entraînement. Le développement de l'EC-Guide nous a permis d'adapter notre approche spécifiquement aux besoins du e-commerce.

De plus, l'intégration du raisonnement Chain-of-Thought s'est avérée précieuse pour améliorer les capacités arithmétiques, ce qui a entraîné de meilleures performances dans diverses tâches. Les résultats de ce travail peuvent aider à orienter les futures applications des LLMs dans le e-commerce et des domaines similaires, en mettant l'accent sur l'importance de jeux de données appropriés et de techniques d'affinage de modèle efficaces.

Globalement, notre travail indique un fort potentiel pour les LLMs dans la gestion des complexités du shopping en ligne, ouvrant la voie à de meilleures expériences utilisateurs et à des solutions de e-commerce plus intelligentes.