Rivisitare il Ruolo dell'Olfatto nell'Arte

L'olfatto gioca spesso un ruolo cruciale nel modo in cui viviamo la vita, influenzando le nostre identità e i nostri comportamenti. Purtroppo, non ha ricevuto l'attenzione che merita negli studi di cultura e storia. Indagare come i profumi siano stati rappresentati nell'arte può rivelare come venivano percepiti nel passato.

Questo articolo parla di un progetto mirato a migliorare il modo in cui classifichiamo e riconosciamo le immagini di spazi profumati nell'arte. Usando un metodo chiamato transfer learning, abbiamo addestrato modelli con dati debolmente etichettati per meglio categorizzare scene artistiche che si collegano all'olfatto.

#L'importanza dell'olfatto

Il senso dell'olfatto impatta le nostre vite quotidiane in molti modi. Si collega profondamente a pratiche culturali, tradizioni e identità. Profumi e fragranze sono stati cruciali in vari contesti storici, come la religione e la medicina. Nonostante la sua importanza, lo studio dell'olfatto è spesso considerato meno rilevante rispetto alle arti visive.

Recenti cambiamenti nella ricerca mostrano che gli studiosi stanno iniziando a capire l'importanza dell'olfatto. Stanno sviluppando nuovi modi per esplorare la storia e la cultura attraverso esperienze olfattive. Tuttavia, catturare questo senso attraverso l'arte visiva rimane una sfida, dato che l'olfatto non può essere percepito direttamente dalle immagini.

#Sfide nella classificazione degli odori

Una delle sfide principali è la mancanza di dataset che si concentrino specificamente su scene olfattive nelle opere storiche. La maggior parte dei dataset esistenti è progettata per scene contemporanee e reali. Di conseguenza, i modelli addestrati su questi dataset faticano a classificare efficacemente le rappresentazioni artistiche di spazi profumati.

Per affrontare questa sfida, abbiamo sfruttato la sovrapposizione tra luoghi profumati e le categorie di scena esistenti da un grande dataset noto come Places365. Questo ci ha permesso di ottimizzare modelli esistenti combinando dati fotografici con immagini artistiche da fonti del patrimonio culturale.

#Creazione del dataset ArtPlaces

Abbiamo creato il dataset ArtPlaces raccogliendo immagini da due importanti fonti di patrimonio culturale: il Rijksmuseum e Wikidata. Il Rijksmuseum possiede una vasta collezione di opere d'arte, mentre Wikidata offre dati strutturati su vari argomenti, incluso l'arte.

Utilizzando termini di ricerca legati alle categorie di scena in Places365, abbiamo recuperato immagini e creato dataset debolmente etichettati. Il nostro dataset ora include migliaia di opere d'arte con etichette che indicano i loro tipi di scena. Questa collezione serve come base per addestrare i nostri modelli.

#Costruzione del set di test degli spazi profumati

Per valutare i nostri modelli, abbiamo creato un set di test specifico per riconoscere gli spazi profumati. Questo includeva opere d'arte etichettate manualmente che si sa essere correlate agli odori. Combinando queste con le immagini debolmente etichettate del dataset ArtPlaces, miravamo a una valutazione completa delle performance dei modelli.

Il set di test ha due parti distinte: una focalizzata sugli spazi profumati e l'altra su scene artistiche generali. Questa configurazione ci consente di valutare quanto bene i modelli riconoscono sia categorie specifiche che ampie dell'arte.

#Addestramento dei modelli

Abbiamo addestrato diversi modelli, tra cui ResNet50, ResNet18 e DenseNet161, usando il dataset Places365 come base. Questi modelli avevano pesi pre-addestrati, che fornivano un buon punto di partenza per il nostro addestramento. Abbiamo usato varie tecniche, come l'augmentation dei dati, per migliorare le capacità dei modelli.

Il fine-tuning è stato un processo critico in cui abbiamo regolato i modelli utilizzando il dataset ArtPlaces. Questo passaggio ha aumentato notevolmente la capacità dei modelli di classificare con precisione le immagini di spazi profumati.

#Valutazione dei modelli

Dopo il fine-tuning, abbiamo valutato i modelli sul set di test degli spazi profumati. Inizialmente, i modelli pre-addestrati hanno avuto prestazioni scarse nel classificare queste opere specifiche. I loro livelli di accuratezza erano significativamente più bassi rispetto a quando venivano testati su immagini reali tipiche.

Tuttavia, dopo il processo di fine-tuning, tutti i modelli hanno mostrato notevoli miglioramenti. Il modello DenseNet161 ha ottenuto la massima accuratezza nel riconoscere gli spazi profumati, evidenziando l'efficacia del nostro approccio.

#Riconoscimento delle scene artistiche generali

Abbiamo anche testato la capacità dei modelli di classificare una gamma più ampia di scene artistiche utilizzando il set di test ArtPlaces. I risultati hanno indicato un miglioramento complessivo dell'accuratezza dopo il fine-tuning, anche se i modelli pre-addestrati continuavano a mostrare livelli di performance più bassi su scene artistiche rispetto a immagini del mondo reale.

La diversa gamma di categorie nel set di test ArtPlaces ha fornito una valutazione più completa dei modelli. Questo sottolinea l'importanza di avere dati di addestramento vari per performance efficaci dei modelli.

#Comprendere l'impatto della qualità del dataset

L'analisi dei nostri dataset ha rivelato diversi livelli di qualità nel processo di etichettatura. Mentre l'etichettatura per il sottogruppo di Wikidata era di alta qualità, i dati del Rijksmuseum presentavano alcune sfide, con etichette che non riflettevano accuratamente le immagini.

Per affrontare queste preoccupazioni, abbiamo adottato diverse strategie per la correzione dei dati. Sono state condotte revisioni manuali per garantire che le etichette rappresentassero accuratamente le opere d'arte. Questa valutazione continua della qualità è cruciale per migliorare i risultati futuri.

#Squilibrio delle classi ed errori di etichettatura

Un'altra sfida che abbiamo affrontato era lo squilibrio nella rappresentazione delle categorie all'interno dei dataset. Alcune categorie avevano significativamentes più immagini di altre. Questo squilibrio può influenzare quanto bene i modelli imparano a riconoscere quelle classi.

Inoltre, abbiamo identificato diversi tipi di errori di etichettatura, tra cui contesti rumorosi, lettura errata dei testi e filtraggio inadeguato durante il recupero dei dati. Affrontare questi problemi ha richiesto aggiustamenti accurati e correzioni manuali throughout il processo di creazione del dataset.

#Conclusione

Il nostro lavoro dimostra che utilizzare il transfer learning debolmente etichettato può aumentare efficacemente i tassi di riconoscimento per gli spazi profumati nelle rappresentazioni artistiche. Sfruttando i dati esistenti del patrimonio culturale, abbiamo costruito un dataset che serve da base per ulteriori ricerche in quest'area.

Sebbene il nostro attuale dataset sia relativamente piccolo rispetto ai vasti dataset di immagini, mostra potenzialità nel migliorare le performance. Ci aspettiamo che espandere le nostre fonti di dati e concentrarci su annotazioni di alta qualità porti a risultati ancora migliori.

Questo studio non solo sottolinea l'importanza dell'olfatto nella storia culturale, ma apre anche nuove vie per future ricerche. C'è ancora molto spazio per l'esplorazione, soprattutto nel migliorare i metodi per classificare gli spazi olfattivi nell'arte e sviluppare una comprensione più ampia delle rappresentazioni delle scene artistiche.