Revisando el papel del olfato en el arte

El olfato a menudo juega un papel crucial en cómo vivimos la vida, moldeando nuestras identidades e influyendo en nuestros comportamientos. Desafortunadamente, no ha recibido la atención que merece en estudios de cultura e historia. Investigar cómo se han representado los olores en el arte puede revelar cómo se percibían en el pasado.

Este artículo habla de un proyecto que busca mejorar la forma en que clasificamos y reconocemos imágenes de espacios fragantes en el arte. Usando un método llamado transfer learning, entrenamos modelos con datos débilmente etiquetados para categorizar mejor escenas artísticas relacionadas con el olfato.

#La Importancia del Olfato

El sentido del olfato impacta nuestra vida diaria de muchas maneras. Se conecta profundamente con prácticas culturales, tradiciones e identidades. Las fragancias y olores han sido cruciales en varios contextos históricos, como religión y medicina. A pesar de su importancia, el estudio del olfato a menudo se considera menos importante que las artes visuales.

Recientes cambios en la investigación muestran que los académicos están comenzando a entender la importancia del olfato. Están desarrollando nuevas formas de explorar la historia y la cultura a través de experiencias olfativas. Sin embargo, capturar este sentido a través del arte visual sigue siendo un desafío, ya que el olor no puede ser percibido directamente a partir de imágenes.

#Desafíos en la Clasificación del Olfato

Un gran desafío es la falta de conjuntos de datos que se centren específicamente en escenas olfativas en obras de arte históricas. La mayoría de los conjuntos de datos existentes están diseñados para escenas contemporáneas y del mundo real. Como resultado, los modelos entrenados en estos conjuntos de datos tienen dificultades para clasificar representaciones artísticas de espacios fragantes de manera efectiva.

Para abordar este desafío, utilizamos la superposición entre lugares fragantes y categorías de escenas existentes de un gran conjunto de datos conocido como Places365. Esto nos permitió ajustar los modelos existentes combinando datos fotográficos con imágenes artísticas de fuentes de patrimonio cultural.

#Creando el Conjunto de Datos ArtPlaces

Creamos el conjunto de datos ArtPlaces recolectando imágenes de dos grandes fuentes de patrimonio cultural: el Rijksmuseum y Wikidata. El Rijksmuseum tiene una colección enorme de obras de arte, mientras que Wikidata ofrece datos estructurados sobre varios temas, incluido el arte.

Usando términos de búsqueda relacionados con las categorías de escena en Places365, recuperamos imágenes y creamos conjuntos de datos débilmente etiquetados. Nuestro conjunto de datos ahora incluye miles de obras de arte con etiquetas que indican sus tipos de escena. Esta colección sirve como base para entrenar nuestros modelos.

#Construyendo el Conjunto de Prueba de Espacios Fragantes

Para evaluar nuestros modelos, creamos un conjunto de prueba específicamente para reconocer espacios fragantes. Esto incluyó obras de arte etiquetadas manualmente que se sabe que están relacionadas con el olfato. Al combinar estas con las imágenes débilmente etiquetadas del conjunto de datos ArtPlaces, buscamos una evaluación integral del rendimiento de los modelos.

El conjunto de prueba tiene dos partes distintas: una enfocada en espacios fragantes y la otra en escenas artísticas generales. Esta configuración nos permite evaluar qué tan bien los modelos reconocen tanto categorías específicas como amplias de arte.

#Entrenando los Modelos

Entrenamos varios modelos, incluyendo ResNet50, ResNet18 y DenseNet161, usando el conjunto de datos Places365 como base. Estos modelos tenían pesos preentrenados, lo que proporcionó un buen punto de partida para nuestro entrenamiento. Usamos varias técnicas, como la augmentación de datos, para mejorar las capacidades de los modelos.

El ajuste fino fue un proceso crítico donde ajustamos los modelos utilizando el conjunto de datos ArtPlaces. Este paso aumentó enormemente la capacidad de los modelos para clasificar con precisión imágenes de espacios fragantes.

#Evaluando los Modelos

Después del ajuste fino, evaluamos los modelos en el conjunto de prueba de Espacios Fragantes. Al principio, los modelos preentrenados se desempeñaron mal al clasificar estas obras de arte específicas. Sus niveles de precisión eran significativamente más bajos en comparación con cuando fueron probados en imágenes típicas del mundo real.

Sin embargo, después del proceso de ajuste fino, todos los modelos mostraron mejoras notables. El modelo DenseNet161 logró la mayor precisión para reconocer espacios fragantes, destacando la efectividad de nuestro enfoque.

#Reconocimiento de Escenas Artísticas Generales

También probamos la capacidad de los modelos para clasificar un rango más amplio de escenas artísticas usando el conjunto de prueba ArtPlaces. Los resultados indicaron una mejora general en la precisión después del ajuste fino, aunque los modelos preentrenados aún mostraron niveles de rendimiento más bajos en escenas artísticas en comparación con imágenes del mundo real.

La diversidad de categorías en el conjunto de prueba ArtPlaces proporcionó una evaluación más completa de los modelos. Esto subraya la importancia de tener datos de entrenamiento variados para un rendimiento efectivo del modelo.

#Entendiendo el Impacto de la Calidad del Conjunto de Datos

El análisis de nuestros conjuntos de datos reveló diferentes niveles de calidad en el proceso de etiquetado. Mientras que el etiquetado para el subconjunto de Wikidata fue de alta calidad, los datos del Rijksmuseum presentaron algunos desafíos, con algunas etiquetas que no reflejaban con precisión las imágenes.

Para abordar estas preocupaciones, empleamos diferentes estrategias para la corrección de datos. Se realizaron revisiones manuales para asegurar que las etiquetas representaran con precisión las obras de arte. Esta evaluación continua de calidad es crucial para mejorar los resultados futuros.

#Desbalance de Clases y Errores de Etiquetado

Otro desafío que enfrentamos fue el desbalance en la representación de categorías dentro de los conjuntos de datos. Ciertas categorías tenían significativamente más imágenes que otras. Este desbalance puede afectar cómo los modelos aprenden a reconocer esas clases.

Además, identificamos varios tipos de errores de etiquetado, incluyendo contexto ruidoso, errores de lectura de texto y filtrado inadecuado durante la recuperación de datos. Abordar estos problemas requirió ajustes cuidadosos y correcciones manuales a lo largo del proceso de creación del conjunto de datos.

#Conclusión

Nuestro trabajo demuestra que utilizar transfer learning con etiquetas débiles puede aumentar efectivamente las tasas de reconocimiento de espacios fragantes en representaciones artísticas. Al aprovechar los datos existentes de patrimonio cultural, construimos un conjunto de datos que sirve de base para futuras investigaciones en esta área.

Aunque nuestro conjunto de datos actual es relativamente pequeño en comparación con conjuntos de datos de imágenes extensos, muestra potencial para mejorar el rendimiento. Anticipamos que expandir nuestras fuentes de datos y enfocarnos en anotaciones de alta calidad llevará a resultados aún mejores.

Este estudio no solo enfatiza la importancia del olfato en la historia cultural, sino que también abre nuevos caminos para la investigación futura. Aún hay mucho por explorar, especialmente en mejorar los métodos para clasificar espacios olfativos en el arte y desarrollar una comprensión más amplia de las representaciones de escenas artísticas.