Simple Science

最先端の科学をわかりやすく解説

# コンピューターサイエンス# コンピュータビジョンとパターン認識

アートにおける匂いの役割を再考する

このプロジェクトは、アートが香りのある空間をどう表現しているかを調べるんだ。

― 1 分で読む


アートと匂い:新しい研究アートと匂い:新しい研究める。研究はアートにおける嗅覚の表現の理解を深
目次

匂いは私たちの生活体験において重要な役割を果たしていて、私たちのアイデンティティに影響を与えたり、行動を左右したりする。でも、文化や歴史の研究では、あまり注目されてこなかったんだ。匂いがアートでどう表現されてきたかを調べることで、過去の匂いの認識が分かるかもしれない。

この記事では、アートの中の香りのある空間の画像をより良く分類し、認識するためのプロジェクトについて話すよ。トランスファーラーニングという手法を使って、弱くラベル付けされたデータでモデルを訓練して、匂いに関連するアートシーンをうまく分類できるようにしたんだ。

嗅覚の重要性

嗅覚は私たちの日常生活に多くの影響を与える。文化的実践や伝統、アイデンティティと深く結びついている。香りは宗教や医学など、さまざまな歴史的文脈でも重要だったんだ。それでも、嗅覚の研究は視覚芸術に比べて軽視されがちだった。

最近の研究の変化を見ると、学者たちは嗅覚の重要性を理解し始めているみたい。嗅覚体験を通じて歴史や文化を探求する新しい方法を開発しているんだけど、匂いを視覚芸術で捉えるのはまだ難しいんだよね。なぜなら、画像から匂いを直接感じることができないから。

匂いの分類の課題

一つの大きな課題は、歴史的なアート作品の嗅覚シーンに特化したデータセットが不足していること。ほとんどの既存のデータセットは現代のリアルなシーン向けに作られているから、そういうデータで訓練されたモデルは香りのある空間のアート表現をうまく分類できないんだ。

この課題を克服するために、香りのある場所と、Places365という大きなデータセットの既存シーンカテゴリーの重複を利用したんだ。これによって、文化遺産のソースからのアート画像と写真データを組み合わせて、既存のモデルを微調整できた。

ArtPlacesデータセットの作成

アート作品の画像を集めるために、オランダ国立美術館(ライクスミュージアム)とウィキデータという二つの大きな文化遺産ソースから画像を集めて、ArtPlacesデータセットを作成したよ。ライクスミュージアムは膨大なアートコレクションを持っていて、ウィキデータはアートを含むさまざまなトピックについて構造化データを提供している。

Places365のシーンカテゴリーに関連する検索語を使って画像を取得し、弱くラベル付けされたデータセットを作成した。私たちのデータセットには、シーンタイプを示すラベルが付いた何千ものアート作品が含まれている。このコレクションはモデルの訓練の基盤となる。

香りのある空間のテストセット作成

モデルを評価するために、香りのある空間を認識するためのテストセットを作った。それには、香りに関連することが知られているアート作品を手動でラベル付けしたものが含まれている。この手法によって、ArtPlacesデータセットの弱くラベル付けされた画像と組み合わせて、モデルの性能を総合的に評価しようとしたんだ。

テストセットには、香りのある空間に焦点を当てた部分と、一般的なアートシーンに焦点を当てた部分の二つがある。この設定によって、モデルが特定のアートと広範なアートのカテゴリーをどれだけうまく認識できるか評価できる。

モデルの訓練

私たちは、Places365データセットを基にして、ResNet50、ResNet18、DenseNet161などの複数のモデルを訓練した。これらのモデルは事前に訓練された重みを持っているから、訓練の強力なスタート地点を提供してくれる。データ拡張などのさまざまな手法を使って、モデルの能力を向上させたよ。

微調整は重要なプロセスで、ArtPlacesデータセットを使ってモデルを調整した。このステップによって、モデルが香りのある空間の画像を正確に分類する能力が大幅に向上した。

モデルの評価

微調整の後、香りのある空間のテストセットでモデルを評価した。最初は、事前に訓練されたモデルは特定のアート作品の分類に苦戦していて、一般的なリアルな画像と比較すると、精度がかなり低かった。

でも、微調整のプロセスを経た後は、すべてのモデルが顕著な改善を示した。DenseNet161モデルは香りのある空間を認識するための精度が最も高く、私たちのアプローチの効果を強調したんだ。

一般的なアートシーンの認識

ArtPlacesテストセットを使って、モデルがより幅広いアートシーンを分類できるかもテストした。結果は、微調整の後に全体的な精度が向上したことを示しているけど、事前に訓練されたモデルはリアルな画像に比べてアートシーンでのパフォーマンスはまだ低かった。

ArtPlacesテストセットの多様なカテゴリーは、モデルのより包括的な評価を提供した。これは、効果的なモデルのパフォーマンスには多様な訓練データが重要であることを示している。

データセットの質の影響を理解する

私たちのデータセットの分析では、ラベル付けプロセスの質にばらつきがあることが明らかになった。ウィキデータのサブセットのラベルは高品質だったのに対して、ライクスミュージアムのデータにはいくつかの課題があって、一部のラベルが画像を正確に反映していなかった。

これらの問題に対処するために、データ修正のためのさまざまな戦略を使った。ラベルがアート作品を正確に表しているか確認するために手動レビューを行った。この継続的な品質評価は、今後の結果を改善するために重要なんだ。

クラスの不均衡とラベル付けエラー

もう一つの課題として、データセット内のカテゴリー表現の不均衡があった。一部のカテゴリーには他のカテゴリーよりもはるかに多くの画像があった。これは、モデルがそういったクラスを認識するのを学ぶ能力に影響を与える可能性があるんだ。

さらに、ノイズのあるコンテキストやテキストの誤読、データ取得中のフィルタリング不足など、いくつかのラベル付けエラーも特定した。これらの問題に対処するには、データセット作成プロセス全体で注意深い調整と手動修正が必要だったよ。

結論

私たちの研究は、弱くラベル付けされたトランスファーラーニングを使うことで、アート表現における香りのある空間の認識率を効果的に向上させられることを示している。既存の文化遺産データを活用することで、さらなる研究の基盤となるデータセットを構築したんだ。

現在のデータセットは広範な画像データセットに比べると比較的小さいけれど、パフォーマンスを改善する可能性がある。データソースを拡大し、高品質な注釈に焦点を当てることで、さらに良い結果が得られると期待しているよ。

この研究は、文化史における匂いの重要性を強調するだけでなく、未来の研究への新しい道を開くものでもある。特に、アートにおける嗅覚空間の分類メソッドを強化したり、アートシーン表現の理解を深めたりする余地がまだまだあるんだ。

オリジナルソース

タイトル: Novel Artistic Scene-Centric Datasets for Effective Transfer Learning in Fragrant Spaces

概要: Olfaction, often overlooked in cultural heritage studies, holds profound significance in shaping human experiences and identities. Examining historical depictions of olfactory scenes can offer valuable insights into the role of smells in history. We show that a transfer-learning approach using weakly labeled training data can remarkably improve the classification of fragrant spaces and, more generally, artistic scene depictions. We fine-tune Places365-pre-trained models by querying two cultural heritage data sources and using the search terms as supervision signal. The models are evaluated on two manually corrected test splits. This work lays a foundation for further exploration of fragrant spaces recognition and artistic scene classification. All images and labels are released as the ArtPlaces dataset at https://zenodo.org/doi/10.5281/zenodo.11584328.

著者: Shumei Liu, Haiting Huang, Mathias Zinnen, Andreas Maier, Vincent Christlein

最終更新: 2024-07-16 00:00:00

言語: English

ソースURL: https://arxiv.org/abs/2407.11701

ソースPDF: https://arxiv.org/pdf/2407.11701

ライセンス: https://creativecommons.org/licenses/by/4.0/

変更点: この要約はAIの助けを借りて作成されており、不正確な場合があります。正確な情報については、ここにリンクされている元のソース文書を参照してください。

オープンアクセスの相互運用性を利用させていただいた arxiv に感謝します。

著者たちからもっと読む

類似の記事

マルチエージェントシステムマルチエージェントシステムでのコミュニケーションを改善する

新しいモデルは、信念マップを使ってエージェント間のコミュニケーションとトレーニングを強化するよ。

― 1 分で読む