Avanzando en la comprensión del lenguaje figurado en imágenes

Los grandes modelos de lenguaje y visión (VLMs) están avanzando en la comprensión de imágenes y texto. Demuestran gran habilidad en tareas como responder preguntas sobre fotos y entender lo que significan diferentes visuales. Sin embargo, estos modelos no se han probado mucho cuando se trata de imágenes y subtítulos que usan Lenguaje figurado. Esto incluye cosas como Metáforas y chistes, que a menudo tienen significados ocultos. Para abordar esta falta, estamos presentando una nueva tarea y un conjunto de datos llamado V-FLUTE, que significa Comprensión de Lenguaje Figurativo Visual con Explicaciones Textuales.

#¿Qué es V-FLUTE?

V-FLUTE está diseñado para ayudar a los VLMs a entender el lenguaje figurado. La tarea implica que un modelo mire una imagen y una afirmación (que es una declaración sobre la imagen) y decida si la imagen apoya o contradice esta afirmación. El modelo también debe proporcionar una breve explicación para su elección. Para crear ejemplos de alta calidad para esto, reunimos un conjunto de datos que incluye 6,027 instancias de imágenes, afirmaciones, etiquetas y explicaciones. Estos ejemplos cubren cinco tipos de lenguaje figurado: metáforas, símiles, modismos, Sarcasmo y Humor. Las figuras retóricas pueden aparecer en la imagen, en el subtítulo, o en ambos.

#Importancia del Lenguaje Figurativo

El lenguaje figurado es esencial para la comunicación. Permite a las personas expresar emociones e ideas de maneras creativas. Sin embargo, entender este tipo de lenguaje es un desafío para las computadoras porque requiere captar significados que no están expresados directamente. Trabajos anteriores se han centrado en entender el lenguaje figurado en el texto, pero V-FLUTE busca extender esta comprensión al contenido visual.

#El Conjunto de Datos y su Creación

Para desarrollar V-FLUTE, usamos Conjuntos de datos multimodales existentes y reclutamos la ayuda de expertos humanos. Cada entrada de datos incluye una imagen, una afirmación y una explicación sobre la relación entre los dos. Los aspectos figurados en las entradas provienen de diversas fuentes, y los transformamos en un formato adecuado para probar los VLMs.

#Tipos de Lenguaje Figurativo Cubiertos

1. Metáforas y Símiles: Estas a menudo aparecen tanto en texto como en imágenes. Por ejemplo, una metáfora visual puede ser una imagen que sugiere un significado más profundo, como mostrar un árbol para simbolizar el crecimiento. Surtimos instancias de dos conjuntos de datos: HAIVMet e IRFL.

2. Modismos: Estas son expresiones cuyos significados no se pueden entender a partir de las palabras individuales. Integramos modismos del conjunto de datos IRFL.

3. Sarcasmo: Esta forma de humor se basa en decir lo contrario de lo que uno quiere decir. Obtuvimos datos del conjunto de datos MuSE.

4. Humor: Usamos datos de MemeCap y caricaturas del New Yorker. Ambas fuentes incluyen imágenes y subtítulos que transmiten humor, a menudo a través de expresiones figurativas.

#Proceso de Recolección de Datos

• Metáforas y Símiles: Recopilamos datos de HAIVMet, que contiene imágenes de metáforas visuales. Cada imagen está vinculada a una afirmación que puede apoyar o contradecir el significado de la imagen. Usamos ChatGPT para crear posibles explicaciones para cada emparejamiento de imagen y afirmación. Luego, las explicaciones fueron revisadas y refinadas por anotadores expertos.

• Modismos: Del IRFL, recopilamos imágenes que corresponden a expresiones idiomáticas. Similar a la etapa anterior, generamos explicaciones para estos ejemplos y las validamos con expertos.

• Sarcasmo: Para el sarcasmo, obtuvimos imágenes y afirmaciones del conjunto de datos MuSE. Creamos afirmaciones no sarcásticas a partir de las sarcásticas y buscamos claridad en las explicaciones proporcionadas.

• Humor: Usando imágenes de MemeCap y caricaturas del New Yorker, generamos afirmaciones que representan el humor en estas visuales. Nuevamente, se crearon explicaciones y se verificó su precisión.

#Evaluando la Comprensión del Lenguaje Figurativo

Después de formar el conjunto de datos, necesitábamos evaluar qué tan bien podían los VLMs existentes manejar la comprensión del lenguaje figurativo. Adoptamos una mezcla de evaluaciones automáticas y humanas, evaluando cómo se desempeñaron los modelos en predecir y explicar sus elecciones.

#Modelos Probados

Seleccionamos una variedad de modelos, tanto gratuitos como de suscripción, para probar. Algunos de estos modelos, como LLaVA, son bien conocidos en el campo por su alto rendimiento. Exploramos cómo se desempeñaron estos modelos en la comprensión y explicación de visuales figurativos.

#Resultados de las Evaluaciones

#Métricas Automáticas

Medimos el rendimiento de los modelos usando varias métricas que se enfocan en la precisión y calidad de la explicación. Nuestra evaluación tenía como objetivo ver qué tan bien los modelos podían hacer la elección correcta y también explicar su razonamiento.

#Evaluación Humana

Para medir qué tan bien los humanos pueden realizar esta tarea, contratamos expertos para analizar instancias de muestra. Los anotadores humanos puntuaron a los modelos en su capacidad para evaluar con precisión las relaciones entre las imágenes y las afirmaciones.

#Hallazgos Clave

1. Desempeño del Modelo: Afinar modelos en el conjunto de datos V-FLUTE mejoró su rendimiento en clasificación en comparación con usar solo texto. Los VLMs se beneficiaron de la entrada visual al tratar con lenguaje figurado.

2. Capacidad Humana: Los anotadores humanos sobresalieron en interpretar humor y señales visuales, a menudo superando a los modelos en general.

3. Tipos de Errores: Cuando los modelos proporcionaron explicaciones inadecuadas, los problemas principales fueron:

   • Alucinación: La explicación del modelo no coincidía con precisión con la imagen.
   • Razonamiento Deficiente: Algunas conclusiones hechas por los modelos no tenían sentido.
   • Razonamiento Incompleto: Las explicaciones omitieron detalles clave sobre la imagen o la afirmación.

#Perspectivas para Futuras Mejoras

1. Calidad de las Explicaciones: Muchos modelos aún luchan por generar explicaciones de alta calidad. La necesidad de una comprensión visual más clara es evidente, especialmente al interpretar humor y sarcasmo.

2. Contribución Colaborativa: Combinar percepciones humanas con las respuestas de los modelos podría mejorar aún más la comprensión, donde los modelos pueden aprender de la retroalimentación humana.

3. Ampliación de Conjuntos de Datos: Hay una fuerte indicación de que los conjuntos de datos actuales requieren más ejemplos diversos de lenguaje figurado en visuals. Esto ayudará a cerrar la brecha en la comprensión de significados no literales.

#Conclusión

V-FLUTE representa un paso significativo hacia una mejor comprensión del lenguaje figurativo en contextos visuales. Proporciona un conjunto de datos rico para entrenar y evaluar modelos sobre su capacidad para razonar sobre imágenes y afirmaciones que contienen lenguaje figurado. Los resultados no solo muestran el potencial de los VLMs, sino que también destacan áreas donde se necesita más trabajo para mejorar su rendimiento.

Con V-FLUTE, los investigadores pueden seguir investigando qué tan bien los modelos interpretan imágenes y textos, con el objetivo final de lograr una IA más sofisticada que pueda navegar por las complejidades del lenguaje humano. El camino implicará refinar estos modelos, mejorar los conjuntos de datos y expandir los límites de lo que es posible en la comprensión de la comunicación multimodal.