MOSAIC:ビジュアルアートのおすすめを再考する
ユーザーの好みと広いアートコミュニティの目標を組み合わせた新しいシステム。
― 1 分で読む
目次
視覚芸術のおすすめは簡単じゃないんだ。人々がアートで何を楽しむか、そして美術館が何を重要視するかを考慮しなきゃいけない。私たちは、訪問者の好みとアート関係者の目標の両方を考えたアートのおすすめを改善したいと思ってる。提案されるアートには、新しさ、驚き、バラエティなんかが含まれるべきだよね。それを解決するために、MOSAICっていうシステムを作ったんだ。これは、いろんな人のニーズに耳を傾けながらアートをおすすめするための先進的な技術を使ってる。
視覚芸術の複雑さ
視覚芸術は個人的な体験なんだ。何が好きかは、バックグラウンドや文化、個人の好みなどいろいろな要素に左右される。絵画は視覚芸術の大きな部分を占めていて、描画やストーリーテリング、シンプルなスタイルから複雑なスタイルまでいろんなものが組み合わさってる。もっと多くのアートが利用可能になるにつれて、人々がアートを見つけて楽しむ手助けをするために新しいアイデアが必要だ。これって難しいんだよね、だって人それぞれアートに対する感情反応が違うから。
この問題を解決するために、視覚芸術推薦システム(VA RecSys)が出現した。これは、人々が好きなものに基づいてカスタマイズされた提案を提供するんだ。今のシステムは、アーティストの名前やアートのスタイルのような詳細を使って似たようなアートを見つけることに重点を置いてる。でも、このアプローチじゃ人々が求めてるものの複雑さを完全には理解できてない。アートはさまざまな感情やアイデアに触れることができるからね。
多様な視点の重要性
アートの世界では、さまざまな視点を考える必要がある。美術館、アーティスト、コレクター、教育者はすべて、アートをプレゼンする時の目標が違う。多くの推薦システムは、主にユーザーが好きなものに焦点を当てていて、アートの評価の広い文脈を無視しがちなんだ。人々はいろんなアート作品に触れることで自分の好みを育てるから、推薦システムは新しいアイデアやスタイルに出会う手助けをすることが大事なんだ。
ユーザーの通常の好みを超えて考えることで、アート好きにとってのより良い体験を作れるんだ。理想的には、VA RecSysは、ユーザーが既に楽しんでいるものを考慮しながら新しいアートを紹介するべきだよね。これには、ユーザーの好みと新しい視点をバランスさせるテクニックが必要だ。
表現学習の進展
従来のアートの比較手法は、アーティスト名や絵の具の種類のような基本的な詳細に頼っていて、アートの背後にある感情やアイデアを本当に捉えてないんだ。最近、研究者たちはアート作品の意味をより良く理解するために、より先進的な技術を使い始めてる。例えば、ディープラーニングを使うことで、異なるアート作品の間の深いつながりをキャッチできることが示されてる。
新しい手法は、視覚要素とテキストを組み合わせて、アートの全体像をよりよく描くのに役立つ。画像とその説明の両方を分析することで、視覚芸術のおすすめを改善するための洞察を得られる。いくつかの技術は、シーンの認識や質問に答えるタスクのために、テキストと画像の両方を比較することに成功してる。
MOSAICアプローチ
上記の課題を踏まえて、視覚芸術のおすすめの問題に取り組むためにMOSAICを開発した。MOSAICは、ユーザーの視点とアートの世界の他の関係者の視点を組み合わせてる。私たちは、説明と画像の両方でモデルを訓練し、さまざまな目標に最適化されたアートの表現を作ってる。
MOSAICの主な特徴
ユーザー中心: MOSAICは、個々の好みに焦点を当てたパーソナライズされたアートの推薦を提供することを目指してる。
関係者の意識: MOSAICは、アーティストからキュレーターまで、さまざまな関係者の興味を考慮する。これにより、推薦はユーザーの好みだけでなく、アートの世界で重要な作品やテーマとも調和するんだ。
多様な推奨: 人気や代表性をモデルに取り入れることで、MOSAICはユーザーが好むだけでなく、称賛されるアート作品や重要なテーマを強調した推奨も提供できる。
システムの評価
MOSAICをテストするために、従来の推薦システムと比較する評価を実施した。ユーザーからのフィードバックを集めて、MOSAICが彼らのニーズや好みにどれだけ応えているかを評価した。これには、新しい推薦が彼らの好みにどのように関連しているかを理解することも含まれてる。
おすすめにおける人気
多くのユーザーが人気のあるアート作品を見ることを評価していることがわかった。推薦に人気を取り入れたところ、ユーザーの満足度に良い影響があった。ユーザーは、自分のお気に入りとともに有名な作品を見ることを楽しんでいて、群衆の好みが個々の見たいものに重要な役割を果たしていることを示唆してる。
代表性
人気に加えて、推薦されたアートが多様でさまざまなテーマを反映していることを確保する必要があった。これは、アートを通して幅広いストーリーやコンセプトを提示したい美術館のキュレーターにとって特に重要だ。異なるカテゴリーから作品を選ぶことで、推薦の豊かさを向上させることができる。
オフライン評価からの発見
私たちの評価結果は、アート作品の人気がユーザーの満足度に大きな影響を与えていることを示している。ほとんどのユーザーが人気のある作品を含む推薦を好むと答えた。しかし、多様性の側面は、特にユーザーの新しい体験の許容度が低い場合には、少し重要視されただけだった。
ユーザー調査: 直接のフィードバック
オフライン評価の後に、MOSAICについて直接フィードバックを集めるユーザー調査を実施した。参加者には、さまざまなエンジンからの推薦に対する体験を評価してもらった。
ユーザーの関与
参加者は、推薦が表示される前にさまざまなアート作品に対して評価を行った。推薦に関する体験を「強く同意しない」から「強く同意する」までのスケールで評価してもらった。この設定により、彼らの好みや新しく多様なアートへの耐性を理解することができた。
統計分析
私たちは、ユーザーの好みにおける違いの有意性を判断するために統計的手法を使って反応を分析した。これには、人気に焦点を当てた推薦戦略と多様なアート作品の包含との比較が含まれている。
発見の意味
ユーザー調査の結果は、ユーザーが推薦における人気要素の包含を高く評価したことを示している。MOSAICのアプローチは、異なる関係者の視点を組み合わせることで、アート愛好家にとってのパーソナライズと満足度を向上させるんだ。これにより、個々の好みと広い文化的文脈をバランスさせた、より効果的な視覚芸術の推薦システムの設計が可能になる。
広範な応用
私たちの焦点は視覚芸術にあるけど、MOSAICの背後にある原則は、同じような推薦システムが必要な他の分野でも応用できるかもしれない。複数の視点を組み入れる方法を理解することで、音楽から文学に至るさまざまな種類のコンテンツにサービスを提供できるシステムを開発できるんだ。
結論
MOSAICは、ユーザーの好みと大きなアートコミュニティのニーズを融合させることで、視覚芸術の推薦において有望な一歩を示している。私たちがこの研究分野を進める中で、アートの評価と推薦の複雑なダイナミクスをさらに探求するインスピレーションを与えたいと思ってる。最終的には、ユーザーの体験に焦点を当てつつ、さまざまな関係者の多様な景観を認識することで、視覚芸術とのより豊かで充実したインタラクションを作り出せるんだ。
タイトル: MOSAIC: Multimodal Multistakeholder-aware Visual Art Recommendation
概要: Visual art (VA) recommendation is complex, as it has to consider the interests of users (e.g. museum visitors) and other stakeholders (e.g. museum curators). We study how to effectively account for key stakeholders in VA recommendations while also considering user-centred measures such as novelty, serendipity, and diversity. We propose MOSAIC, a novel multimodal multistakeholder-aware approach using state-of-the-art CLIP and BLIP backbone architectures and two joint optimisation objectives: popularity and representative selection of paintings across different categories. We conducted an offline evaluation using preferences elicited from 213 users followed by a user study with 100 crowdworkers. We found a strong effect of popularity, which was positively perceived by users, and a minimal effect of representativeness. MOSAIC's impact extends beyond visitors, benefiting various art stakeholders. Its user-centric approach has broader applicability, offering advancements for content recommendation across domains that require considering multiple stakeholders.
著者: Bereket A. Yilma, Luis A. Leiva
最終更新: 2024-07-31 00:00:00
言語: English
ソースURL: https://arxiv.org/abs/2407.21758
ソースPDF: https://arxiv.org/pdf/2407.21758
ライセンス: https://creativecommons.org/licenses/by/4.0/
変更点: この要約はAIの助けを借りて作成されており、不正確な場合があります。正確な情報については、ここにリンクされている元のソース文書を参照してください。
オープンアクセスの相互運用性を利用させていただいた arxiv に感謝します。