Faire avancer la compréhension du langage figuré dans les images

Les grands modèles de langage-visuel (VLM) font des progrès dans la compréhension des images et du texte. Ils montrent une grande habileté dans des tâches comme répondre à des questions sur des photos et comprendre ce que différentes visuels signifient. Cependant, ces modèles n'ont pas été beaucoup testés pour ce qui est des images et des légendes qui utilisent un Langage figuré. Ça inclut des trucs comme des Métaphores et des blagues, qui ont souvent des significations cachées. Pour combler ce manque, on introduit une nouvelle tâche et un dataset appelé V-FLUTE, qui signifie Compréhension du Langage Figuratif Visuel avec Explications Textuelles.

#Qu'est-ce que V-FLUTE ?

V-FLUTE est conçu pour aider les VLM à comprendre le langage figuré. La tâche consiste à ce qu'un modèle regarde une image et une affirmation (qui est une déclaration sur l'image) et décide si l'image soutient ou contredit cette affirmation. Le modèle doit aussi donner une courte explication pour son choix. Pour créer des exemples de qualité, on a rassemblé un dataset qui inclut 6 027 instances d'images, d'affirmations, d'étiquettes et d'explications. Ces exemples couvrent cinq types de langage figuré : métaphores, comparaisons, idiomes, Sarcasme et Humour. Les figures de style peuvent apparaître dans l'image, la légende ou les deux.

#Importance du Langage Figuratif

Le langage figuré est essentiel pour la communication. Il permet aux gens d'exprimer des émotions et des idées de manière créative. Cependant, comprendre ce genre de langage est un vrai défi pour les ordinateurs car ça nécessite de saisir des significations qui ne sont pas directement exprimées. Les travaux précédents se sont concentrés sur la compréhension du langage figuré dans le texte, mais V-FLUTE vise à étendre cette compréhension au contenu visuel.

#Le Dataset et sa Création

Pour développer V-FLUTE, on a utilisé des datasets multimodaux existants et on a fait appel à des experts humains. Chaque entrée de données inclut une image, une affirmation et une explication sur la relation entre les deux. Les aspects figurés dans les entrées proviennent de diverses sources, et on les a transformés en un format adapté pour tester les VLM.

#Types de Langage Figuratif Couvert

1. Métaphores et Comparaisons : Ces trucs apparaissent souvent dans le texte et les images. Par exemple, une métaphore visuelle peut être une image qui suggère un sens plus profond, comme montrer un arbre pour signifier la croissance. On a pris des exemples de deux datasets : HAIVMet et IRFL.

2. Idiomes : Ce sont des expressions dont les significations ne peuvent pas être comprises à partir des mots individuels. On a intégré des idiomes du dataset IRFL.

3. Sarcasme : Cette forme d'humour repose sur le fait de dire le contraire de ce qu'on veut dire. On a obtenu des données du dataset MuSE.

4. Humour : On a utilisé des données de MemeCap et des cartoons du New Yorker. Ces sources incluent des images et des légendes qui transmettent de l'humour, souvent à travers des expressions figurées.

#Processus de Collecte de Données

• Métaphores et Comparaisons : On a collecté des données de HAIVMet, qui contient des images de métaphores visuelles. Chaque image est liée à une affirmation qui peut soutenir ou contredire le sens de l'image. On a utilisé ChatGPT pour créer des explications potentielles pour chaque association image et affirmation. Les explications ont ensuite été examinées et affinées par des annotateurs experts.

• Idiomes : À partir d'IRFL, on a rassemblé des images qui correspondent à des expressions idiomatiques. Comme dans l'étape précédente, on a généré des explications pour ces exemples et on les a fait valider par des experts.

• Sarcasme : Pour le sarcasme, on a pris des images et des affirmations du dataset MuSE. On a créé des affirmations non sarcastiques à partir de sarcastiques et on a cherché à clarifier les explications fournies.

• Humour : En utilisant des images de MemeCap et des cartoons du New Yorker, on a généré des affirmations qui représentent l'humour dans ces visuels. Encore une fois, des explications ont été créées et vérifiées pour leur précision.

#Évaluation de la Compréhension du Langage Figuratif

Après avoir formé le dataset, on avait besoin d'évaluer à quel point les VLM existants pouvaient comprendre le langage figuré. On a adopté un mélange d'évaluations automatiques et humaines, en évaluant comment les modèles se débrouillaient pour prédire et expliquer leurs choix.

#Modèles Testés

On a sélectionné une variété de modèles gratuits et payants pour les tests. Certains de ces modèles, comme LLaVA, sont bien connus dans le domaine pour leur haute performance. On a exploré comment ces modèles ont compris et expliqué des visuels figurés.

#Résultats des Évaluations

#Métriques Automatiques

On a mesuré la performance des modèles en utilisant diverses métriques qui se concentrent sur la précision et la qualité des explications. Notre évaluation visait à voir à quel point les modèles pouvaient faire le bon choix et aussi expliquer leur raisonnement.

#Évaluation Humaine

Pour évaluer comment les humains peuvent accomplir cette tâche, on a engagé des experts pour analyser des exemples. Les annotateurs humains ont noté les modèles sur leur capacité à évaluer correctement les relations entre les images et les affirmations.

#Principales Conclusions

1. Performance des Modèles : Le fine-tuning des modèles sur le dataset V-FLUTE a amélioré leur performance de classification par rapport à l'utilisation uniquement de texte. Les VLM ont bénéficié d'entrées visuelles quand il s'agissait de langage figuré.

2. Capacité Humaine : Les annotateurs humains ont excellé à interpréter l'humour et les indices visuels, surpassant souvent les modèles dans l'ensemble.

3. Types d'Erreurs : Quand les modèles fournissaient des explications inappropriées, les principaux problèmes étaient :

   • Hallucination : L'explication du modèle ne correspondait pas à l'image.
   • Raisonnement Insensé : Certaines conclusions faites par les modèles n'avaient pas de sens.
   • Raisonnement Incomplet : Les explications manquaient de détails clés sur l'image ou l'affirmation.

#Perspectives pour Améliorer

1. Qualité des Explications : Beaucoup de modèles ont encore du mal à générer des explications de haute qualité. Le besoin d'une compréhension visuelle plus claire est évident, surtout pour interpréter l'humour et le sarcasme.

2. Contributions Collaboratives : Combiner les idées humaines avec les réponses des modèles pourrait améliorer la compréhension, où les modèles peuvent apprendre des retours humains.

3. Élargissement des Datasets : Il y a une forte indication que les datasets actuels nécessitent plus d'exemples divers de langage figuré dans les visuels. Ça aidera à combler le fossé dans la compréhension des significations non littérales.

#Conclusion

V-FLUTE représente un pas important vers une meilleure compréhension du langage figuratif dans des contextes visuels. Ça fournit un dataset riche pour former et évaluer les modèles sur leur capacité à raisonner sur des images et des affirmations qui contiennent du langage figuré. Les résultats montrent non seulement le potentiel des VLM, mais aussi des domaines où plus de travail est nécessaire pour améliorer leur performance.

Avec V-FLUTE, les chercheurs peuvent continuer à explorer à quel point les modèles interprètent les images et les textes, visant finalement une IA plus sophistiquée capable de naviguer dans les complexités du langage humain. Le parcours impliquera de peaufiner ces modèles, d'améliorer les datasets et de repousser les limites de ce qui est possible dans la compréhension de la communication multimodale.