MOSAÏQUE : Repenser les recommandations d'art visuel
Un nouveau système qui mélange les goûts des utilisateurs avec les objectifs plus larges de la communauté artistique.
― 8 min lire
Table des matières
- La Complexité de l'Art Visuel
- Importance de Multiple Perspectives
- Avancées dans l'Apprentissage de Représentation
- L'Approche MOSAIC
- Caractéristiques Clés de MOSAIC
- Évaluation de Notre Système
- Popularité dans les Recommandations
- Représentativité
- Résultats des Évaluations Hors Ligne
- Étude Utilisateur : Retours Directs
- Engagement des Utilisateurs
- Analyse Statistique
- Implications des Résultats
- Applications Plus Larges
- Conclusion
- Source originale
- Liens de référence
La recommandation d'Art visuel, c'est pas simple. Il faut tenir compte de ce que les gens aiment dans l'art et de ce que les musées juge important. On veut améliorer la façon dont l'art est recommandé en prenant en compte les goûts des visiteurs et les objectifs des acteurs de l'art. Ça inclut des trucs comme la nouveauté, la surprise et la variété dans les œuvres suggérées. Pour ça, on a créé un système qu'on appelle MOSAIC, qui utilise une technologie avancée pour recommander de l'art en écoutant les besoins de chacun.
La Complexité de l'Art Visuel
L'art visuel, c'est une expérience personnelle. Ce que tu aimes peut dépendre de plein de facteurs, comme ton parcours, ta culture et tes goûts personnels. Les peintures font partie de l'art visuel parce qu'elles mélangent le dessin, la narration et des styles qui peuvent être simples ou complexes. Avec de plus en plus d'art disponible, il faut des idées fraîches pour aider les gens à trouver et apprécier l'art. C'est compliqué, parce que chaque personne a des réactions émotionnelles différentes face à l'art.
Pour ça, des Systèmes de recommandation d'art visuel (VA RecSys) ont vu le jour, offrant des suggestions personnalisées selon les préférences des gens. Les systèmes actuels se concentrent souvent sur la recherche d'art similaire en utilisant des détails comme le nom de l'artiste et le style de l'œuvre. Mais cette approche ne prend pas vraiment en compte la complexité de ce que les gens veulent, car l'art peut toucher à différentes émotions et idées.
Importance de Multiple Perspectives
Dans le monde de l'art, on doit envisager plusieurs points de vue. Les musées, artistes, collectionneurs et éducateurs ont tous des objectifs différents qui influencent la manière dont ils présentent l'art. La plupart des systèmes de recommandation se concentrent principalement sur ce que l'utilisateur aime, ce qui peut ignorer le contexte plus large de l'appréciation de l'art. Les gens développent leurs goûts en découvrant différentes œuvres, donc c'est important que les systèmes de recommandation aident les Utilisateurs à rencontrer de nouvelles idées et styles.
En s'élargissant au-delà des préférences usuelles des utilisateurs, on peut créer une meilleure expérience pour les amateurs d'art. Idéalement, les VA RecSys devraient présenter aux utilisateurs de nouveaux arts tout en tenant compte de ce qu'ils aiment déjà. Ça demande des techniques qui peuvent équilibrer les goûts des utilisateurs avec de nouvelles perspectives.
Avancées dans l'Apprentissage de Représentation
Les méthodes traditionnelles de comparaison d'art se basent souvent sur des détails basiques comme les noms d'artistes ou les types de peinture, qui ne capturent pas vraiment les sentiments ou les idées derrière l'œuvre. Récemment, des chercheurs ont commencé à utiliser des techniques plus avancées pour mieux comprendre les significations derrière les œuvres d'art. Par exemple, l'utilisation du deep learning a montré qu'elle pouvait capter les connexions plus profondes entre différentes pièces d'art.
De nouvelles méthodes combinent des éléments visuels et du texte, ce qui aide à créer une image plus complète de l'art. En analysant à la fois les images et leurs descriptions, on peut obtenir des informations qui améliorent la manière dont on recommande l'art visuel. Certaines technologies ont réussi à comparer à la fois le texte et les images pour des tâches comme la reconnaissance de scènes ou répondre à des questions.
L'Approche MOSAIC
Face à ces défis, on a développé MOSAIC pour répondre à ces problèmes de recommandation d'art visuel. MOSAIC combine les perspectives des utilisateurs avec celles des autres acteurs du monde de l'art. On construit des représentations de l'art en entraînant des modèles sur des descriptions et des images, et ensuite on optimise pour différents objectifs.
Caractéristiques Clés de MOSAIC
Centrique Utilisateur : Au cœur de MOSAIC, l'idée est de fournir des recommandations d'art personnalisées en se concentrant sur les préférences individuelles.
Conscience des Acteurs : MOSAIC prend en compte les intérêts de divers acteurs, des artistes aux conservateurs. Cela garantit que les recommandations ne reposent pas seulement sur les préférences des utilisateurs, mais s'alignent aussi sur des thèmes plus larges ou des œuvres importantes dans le monde de l'art.
Recommandations Diversifiées : En incorporant la popularité et la représentativité dans notre modèle, MOSAIC peut faire des recommandations qui sont non seulement appréciées par l'utilisateur, mais qui mettent également en avant des œuvres célèbres ou des thèmes importants.
Évaluation de Notre Système
Pour tester MOSAIC, on a réalisé des évaluations en le comparant aux systèmes de recommandation traditionnels. On a recueilli des retours d'utilisateurs pour évaluer dans quelle mesure MOSAIC répondait à leurs besoins et préférences. Ça incluait de comprendre ce que les utilisateurs pensaient des nouvelles recommandations par rapport à leurs goûts.
Popularité dans les Recommandations
On a appris que beaucoup d'utilisateurs apprécient de voir des œuvres populaires. Quand on a intégré la popularité dans nos recommandations, ça a eu un impact positif sur la satisfaction des utilisateurs. Ils aimaient voir des pièces célèbres à côté de leurs préférées, suggérant que le goût du public joue un rôle important dans ce que les individus veulent voir.
Représentativité
En plus de la popularité, on avait besoin de s'assurer que l'art recommandé soit diversifié et reflète différents thèmes. Ça c'est particulièrement crucial pour les conservateurs de musées qui veulent présenter une large gamme d'histoires et de concepts à travers l'art. En sélectionnant des pièces de différentes catégories, on peut enrichir la qualité des recommandations.
Résultats des Évaluations Hors Ligne
Nos évaluations ont montré que la popularité des œuvres avait un impact significatif sur la satisfaction des utilisateurs. La plupart des utilisateurs ont indiqué qu'ils préféraient des recommandations qui incluaient des œuvres populaires. Cependant, l'aspect Diversité n'était perçu que comme légèrement important, surtout si la tolérance de l'utilisateur pour de nouvelles expériences était faible.
Étude Utilisateur : Retours Directs
Après les évaluations hors ligne, on a mené une étude utilisateur pour recueillir des retours directs sur MOSAIC. Les participants étaient invités à noter leurs expériences avec les recommandations de différents moteurs.
Engagement des Utilisateurs
Les participants ont donné des notes pour diverses œuvres d'art avant de recevoir des recommandations. Ils ont noté leur expérience avec ces recommandations sur une échelle allant de "fortement pas d'accord" à "fortement d'accord". Ce setup nous a permis de comprendre leurs préférences et leur tolérance pour l'art nouveau et diversifié.
Analyse Statistique
On a analysé les réponses en utilisant des méthodes statistiques pour déterminer la signification des différences dans les préférences des utilisateurs. Ça incluait de regarder comment les utilisateurs réagissaient aux différentes stratégies de recommandation utilisées par MOSAIC, comme l'accent mis sur la popularité contre l'inclusion d'œuvres diverses.
Implications des Résultats
Les résultats de notre étude utilisateur indiquent que les utilisateurs ont apprécié l'inclusion d'éléments qui tiennent compte de la popularité dans les recommandations. L'approche de MOSAIC qui combine les perspectives des différents acteurs mène à une meilleure personnalisation et satisfaction pour les amateurs d'art. Ça ouvre des portes pour concevoir des systèmes de recommandation d'art visuel plus efficaces qui équilibrent les préférences individuelles avec des contextes culturels plus larges.
Applications Plus Larges
Bien que notre focus soit sur l'art visuel, les principes derrière MOSAIC pourraient s'appliquer à d'autres domaines qui ont besoin de systèmes de recommandation similaires. En comprenant comment incorporer plusieurs perspectives, on peut développer des systèmes qui servent différents types de contenu, de la musique à la littérature, en tenant compte de ce que différents acteurs valorisent.
Conclusion
MOSAIC représente une avancée prometteuse dans les recommandations d'art visuel en mêlant les préférences des utilisateurs avec les besoins de la plus grande communauté artistique. Alors qu'on continue d'avancer dans ce domaine de recherche, on espère inspirer une exploration plus poussée des dynamiques complexes de l'appréciation de l'art et de la recommandation. En fin de compte, en se concentrant sur les expériences des utilisateurs tout en reconnaissant le paysage diversifié des acteurs, on peut créer une interaction plus riche et plus satisfaisante avec l'art visuel.
Titre: MOSAIC: Multimodal Multistakeholder-aware Visual Art Recommendation
Résumé: Visual art (VA) recommendation is complex, as it has to consider the interests of users (e.g. museum visitors) and other stakeholders (e.g. museum curators). We study how to effectively account for key stakeholders in VA recommendations while also considering user-centred measures such as novelty, serendipity, and diversity. We propose MOSAIC, a novel multimodal multistakeholder-aware approach using state-of-the-art CLIP and BLIP backbone architectures and two joint optimisation objectives: popularity and representative selection of paintings across different categories. We conducted an offline evaluation using preferences elicited from 213 users followed by a user study with 100 crowdworkers. We found a strong effect of popularity, which was positively perceived by users, and a minimal effect of representativeness. MOSAIC's impact extends beyond visitors, benefiting various art stakeholders. Its user-centric approach has broader applicability, offering advancements for content recommendation across domains that require considering multiple stakeholders.
Auteurs: Bereket A. Yilma, Luis A. Leiva
Dernière mise à jour: 2024-07-31 00:00:00
Langue: English
Source URL: https://arxiv.org/abs/2407.21758
Source PDF: https://arxiv.org/pdf/2407.21758
Licence: https://creativecommons.org/licenses/by/4.0/
Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.
Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.