MOSAICO: Ripensare le Raccomandazioni sull'Arte Visiva
Un nuovo sistema che mescola i gusti degli utenti con gli obiettivi più ampi della comunità artistica.
― 6 leggere min
Indice
- La Complessità dell'Arte Visiva
- Importanza di Diverse Prospettive
- Progressi nell'Apprendimento della Rappresentazione
- L'Approccio MOSAIC
- Caratteristiche Chiave di MOSAIC
- Valutazione del Nostro Sistema
- Popolarità nelle Raccomandazioni
- Rappresentatività
- Risultati dalle Valutazioni Offline
- Studio Utente: Feedback Diretto
- Coinvolgimento degli Utenti
- Analisi Statistica
- Implicazioni dei Risultati
- Applicazioni più Ampie
- Conclusione
- Fonte originale
- Link di riferimento
La raccomandazione di Arte visiva non è semplice. Bisogna tenere conto di cosa piace alla gente nell'arte e di cosa pensano i musei sia importante. Vogliamo migliorare il modo in cui viene raccomandata l'arte, considerando sia i gusti dei visitatori che gli obiettivi degli Stakeholder dell'arte. Questo comprende cose come novità, sorpresa e varietà nell'arte suggerita. Per affrontare questo, abbiamo creato un sistema chiamato MOSAIC, che utilizza tecnologia avanzata per raccomandare arte in modo che ascolti le diverse esigenze delle persone.
La Complessità dell'Arte Visiva
L'arte visiva è un'esperienza personale. Ciò che ti piace può dipendere da molti fattori, come il tuo background, cultura e gusti personali. I dipinti sono una parte importante dell'arte visiva perché combinano disegno, narrazione e stili che possono essere semplici o intricati. Con sempre più arte disponibile, abbiamo bisogno di idee fresche per aiutare le persone a trovare e godere dell'arte. Questo è difficile, dato che le diverse persone hanno reazioni emotive diverse di fronte all'arte.
Per affrontare questo, sono emersi Sistemi di Raccomandazione per l'arte visiva (VA RecSys), che offrono suggerimenti personalizzati basati su ciò che piace alla gente. I sistemi attuali spesso si concentrano nel trovare opere simili usando dettagli come il nome dell'artista e lo stile dell'arte. Ma questo approccio non apprezza completamente la complessità di ciò che le persone vogliono, dato che l'arte può toccare vari sentimenti e idee.
Importanza di Diverse Prospettive
Nel mondo dell'arte, dobbiamo considerare una varietà di punti di vista. Musei, artisti, collezionisti ed educatori hanno tutti obiettivi diversi che guidano il modo in cui presentano l'arte. La maggior parte dei sistemi di raccomandazione si concentra principalmente su ciò che piace all'Utente, il che può ignorare il contesto più ampio dell'apprezzamento dell'arte. Le persone sviluppano i loro gusti interagendo con diversi pezzi d'arte, quindi è importante che i sistemi di raccomandazione aiutino gli utenti a scoprire nuove idee e stili.
Espandendo oltre le preferenze tipiche degli utenti, possiamo creare un'esperienza migliore per gli amanti dell'arte. Idealmente, i VA RecSys dovrebbero introdurre gli utenti a nuove opere d'arte mantenendo conto di ciò che già apprezzano. Questo richiede tecniche che possano bilanciare i gusti dell'utente con prospettive fresche.
Progressi nell'Apprendimento della Rappresentazione
I metodi tradizionali di confronto tra opere d'arte spesso si basano su dettagli di base come nomi degli artisti o tipi di vernice, che non catturano davvero i sentimenti o le idee dietro all'arte. Recentemente, i ricercatori hanno iniziato a usare tecniche più avanzate per comprendere meglio i significati dietro le opere d'arte. Ad esempio, l'utilizzo del deep learning ha dimostrato di catturare le connessioni più profonde tra diverse opere d'arte.
Nuovi metodi combinano elementi visivi e testo, il che aiuta a creare un quadro più completo dell'arte. Analizzando sia le immagini che le loro descrizioni, possiamo ottenere intuizioni che migliorano il modo in cui raccomandiamo l'arte visiva. Alcune tecnologie sono riuscite a confrontare sia testo che immagini per compiti come riconoscere scene o rispondere a domande.
L'Approccio MOSAIC
Date le sfide di cui sopra, abbiamo sviluppato MOSAIC per affrontare questi problemi nella raccomandazione dell'arte visiva. MOSAIC combina le prospettive degli utenti con quelle di altri stakeholder nel mondo dell'arte. Costruiamo rappresentazioni dell'arte formando modelli sia su descrizioni che su immagini, e poi ottimizziamo per diversi obiettivi.
Caratteristiche Chiave di MOSAIC
Centrato sull'Utente: Al suo interno, MOSAIC mira a fornire raccomandazioni artistiche personalizzate concentrandosi sulle preferenze individuali.
Consapevolezza degli Stakeholder: MOSAIC considera gli interessi di vari stakeholder, dagli artisti ai curatori. Questo assicura che le raccomandazioni non siano basate solo sulle preferenze degli utenti, ma si allineino anche a temi più ampi o opere importanti nel mondo dell'arte.
Raccomandazioni Diversificate: Incorporando popolarità e rappresentatività nel nostro modello, MOSAIC può fornire raccomandazioni che non sono solo preferite dall'utente ma mettendo in evidenza opere celebri o temi importanti.
Valutazione del Nostro Sistema
Per mettere alla prova MOSAIC, abbiamo condotto valutazioni confrontandolo con sistemi di raccomandazione tradizionali. Abbiamo raccolto feedback dagli utenti per valutare quanto bene MOSAIC soddisfacesse le loro esigenze e preferenze. Questo includeva comprendere come gli utenti si sentivano riguardo alle nuove raccomandazioni in relazione ai loro gusti.
Popolarità nelle Raccomandazioni
Abbiamo scoperto che molti utenti apprezzano vedere opere d'arte popolari. Quando abbiamo introdotto la popolarità nelle nostre raccomandazioni, ha influenzato positivamente la soddisfazione degli utenti. Gli utenti si sono divertiti a vedere pezzi famosi insieme ai loro preferiti, suggerendo che il gusto collettivo gioca un ruolo importante in ciò che le persone vogliono vedere.
Rappresentatività
Oltre alla popolarità, dovevamo assicurarci che l'arte raccomandata fosse diversificata e riflettesse vari temi. Questo è particolarmente vitale per i curatori dei musei che vogliono presentare una vasta gamma di storie e concetti attraverso l'arte. Selezionando pezzi da diverse categorie, possiamo arricchire le raccomandazioni.
Risultati dalle Valutazioni Offline
Le nostre valutazioni hanno mostrato che la popolarità delle opere d'arte ha avuto un impatto significativo sulla soddisfazione degli utenti. La maggior parte degli utenti ha indicato che preferiva raccomandazioni che includevano opere popolari. Tuttavia, l'aspetto della Diversità è stato visto solo come leggermente importante, soprattutto se la tolleranza dell'utente per nuove esperienze era bassa.
Studio Utente: Feedback Diretto
Dopo le valutazioni offline, abbiamo condotto uno studio utente per raccogliere feedback diretto su MOSAIC. I partecipanti sono stati invitati a valutare le loro esperienze con le raccomandazioni di diversi motori.
Coinvolgimento degli Utenti
I partecipanti hanno fornito valutazioni per vari pezzi d'arte prima di ricevere le raccomandazioni. Hanno valutato la loro esperienza con le raccomandazioni su una scala che andava da "fortemente in disaccordo" a "fortemente d'accordo". Questa impostazione ci ha permesso di comprendere le loro preferenze e la tolleranza per arte nuova e diversificata.
Analisi Statistica
Abbiamo analizzato le risposte utilizzando metodi statistici per determinare l'importanza delle differenze nelle preferenze degli utenti. Questo includeva esaminare quanto bene gli utenti rispondevano a varie strategie di raccomandazione impiegate da MOSAIC, come il focus sulla popolarità rispetto all'inclusione di opere d'arte diversificate.
Implicazioni dei Risultati
I risultati del nostro studio utente indicano che gli utenti apprezzavano l'inclusione di elementi che considerano la popolarità nelle raccomandazioni. L'approccio di MOSAIC nel combinare diverse prospettive degli stakeholder porta a una migliore personalizzazione e soddisfazione per gli appassionati d'arte. Questo apre porte per progettare sistemi di raccomandazione per l'arte visiva più efficaci che bilanciano le preferenze individuali con contesti culturali più ampi.
Applicazioni più Ampie
Sebbene ci concentriamo sull'arte visiva, i principi alla base di MOSAIC potrebbero essere applicati in altre aree che necessitano di sistemi di raccomandazione simili. Comprendendo come incorporare prospettive multiple, possiamo sviluppare sistemi che servano vari tipi di contenuto, dalla musica alla letteratura, tenendo conto di ciò che i diversi stakeholder valutano.
Conclusione
MOSAIC rappresenta un passo promettente avanti nelle raccomandazioni di arte visiva, mescolando le preferenze degli utenti con le esigenze della comunità artistica più ampia. Continuando a far progredire quest'area di ricerca, speriamo di ispirare ulteriori esplorazioni nelle complesse dinamiche dell'apprezzamento e della raccomandazione dell'arte. Alla fine, concentrandoci sulle esperienze degli utenti e riconoscendo al contempo il panorama diversificato degli stakeholder, possiamo creare un'interazione più ricca e appagante con l'arte visiva.
Titolo: MOSAIC: Multimodal Multistakeholder-aware Visual Art Recommendation
Estratto: Visual art (VA) recommendation is complex, as it has to consider the interests of users (e.g. museum visitors) and other stakeholders (e.g. museum curators). We study how to effectively account for key stakeholders in VA recommendations while also considering user-centred measures such as novelty, serendipity, and diversity. We propose MOSAIC, a novel multimodal multistakeholder-aware approach using state-of-the-art CLIP and BLIP backbone architectures and two joint optimisation objectives: popularity and representative selection of paintings across different categories. We conducted an offline evaluation using preferences elicited from 213 users followed by a user study with 100 crowdworkers. We found a strong effect of popularity, which was positively perceived by users, and a minimal effect of representativeness. MOSAIC's impact extends beyond visitors, benefiting various art stakeholders. Its user-centric approach has broader applicability, offering advancements for content recommendation across domains that require considering multiple stakeholders.
Autori: Bereket A. Yilma, Luis A. Leiva
Ultimo aggiornamento: 2024-07-31 00:00:00
Lingua: English
URL di origine: https://arxiv.org/abs/2407.21758
Fonte PDF: https://arxiv.org/pdf/2407.21758
Licenza: https://creativecommons.org/licenses/by/4.0/
Modifiche: Questa sintesi è stata creata con l'assistenza di AI e potrebbe presentare delle imprecisioni. Per informazioni accurate, consultare i documenti originali collegati qui.
Si ringrazia arxiv per l'utilizzo della sua interoperabilità ad accesso aperto.