Faire le lien entre la langue et les images grâce aux métaphores visuelles

Les Métaphores visuelles, c'est des images qui communiquent des idées en les représentant de manière symbolique. On les voit beaucoup, surtout en pub, pour faire passer des messages efficacement. Tout comme les mots peuvent avoir des significations métaphoriques, les images peuvent aussi prendre des concepts d'un domaine et les montrer dans un autre. Ça aide les gens à comprendre des idées complexes de manière simplifiée.

#Le Défi

Créer des métaphores visuelles à partir de métaphores linguistiques, c'est pas simple. Ça demande de comprendre la signification profonde des mots et de construire des scènes qui transmettent ça. Par exemple, quand on dit "Ma chambre est une porcherie," on ne dit pas littéralement qu'il y a des cochons dedans. On veut dire que c'est en désordre. Pour créer une image pour cette phrase, faut identifier l'aspect en désordre et trouver des Visuels qui représentent à la fois une chambre et le désordre de manière efficace.

Les modèles traditionnels de texte à image, comme DALL E 2, peuvent produire des images à partir de descriptions textuelles. Mais souvent, ils galèrent quand le texte inclut un langage métaphorique. Ils peuvent montrer les mots littéraux sans comprendre le sens sous-jacent. Par exemple, ils pourraient créer une chambre rose vif avec un cochon en jouet au lieu de montrer une chambre en désordre.

#La Solution : Collaboration entre Modèles de Langage et Modèles d'image

Pour résoudre ce problème, on propose une collaboration entre des Modèles de Langage (LLMs) et des Modèles de Diffusion. Les LLMs sont conçus pour traiter et générer du texte, tandis que les Modèles de Diffusion peuvent créer des images à partir de descriptions textuelles. En travaillant ensemble, ils peuvent créer de meilleures métaphores visuelles.

1. Les Modèles de Langage Génèrent un Texte Détaillé : On utilise un modèle de langage appelé Instruct GPT-3 pour convertir des métaphores linguistiques en texte plus détaillé qui décrit les éléments visuels de la métaphore. Ça inclut d'identifier les objets clés, leurs relations, et les significations sous-jacentes.

2. Les Modèles d'Image Créent des Visuels : Le texte détaillé du modèle de langage est ensuite donné à un modèle basé sur la diffusion, comme DALL E 2, qui génère des images basées sur le texte élargi.

Cette collaboration garantit que les modèles d'image ont des instructions plus claires, ce qui mène à de meilleures représentations visuelles des métaphores.

#Construire un Dataset de Haute Qualité

Pour créer un dataset de haute qualité, on a utilisé une approche de collaboration Humain-AI. Ça implique :

1. Sélectionner des Métaphores Linguistiques : On choisit des métaphores qui peuvent être facilement visualisées. Par exemple, des métaphores qui décrivent des objets physiques ou des émotions qui peuvent être montrées par des images.

2. Générer des Élaborations Visuelles : Le LLM génère des descriptions visuelles détaillées à partir des métaphores sélectionnées. Ces descriptions incluent les éléments clés qui doivent apparaître dans l'image.

3. Générer des Images : Les descriptions détaillées sont utilisées comme entrée pour les modèles de diffusion pour générer les images réelles. Après, des experts examinent les images générées pour s'assurer qu'elles représentent précisément les significations voulues par les métaphores.

Grâce à ce processus, on a créé un dataset de plus de 6 000 images uniques correspondant à 1 540 métaphores différentes.

#Évaluer la Qualité des Métaphores Visuelles

Pour voir à quel point la collaboration entre le LLM et le modèle d'image fonctionne, on a fait des évaluations avec des illustrateurs professionnels. Ils ont comparé les images générées par les modèles en utilisant juste la métaphore originale et celles utilisant les descriptions élaborées du modèle de langage.

#Évaluations Humaines

Dans ces évaluations, les artistes ont classé les images selon à quel point elles représentaient bien la métaphore. Ils ont donné des retours sur ce qui pouvait être amélioré. Ces retours aident à identifier où les modèles n'arrivent pas toujours à capturer complètement les significations des métaphores.

Les résultats ont montré qu'inclure les élaborations du modèle de langage a vraiment amélioré la qualité des images générées. Quand le modèle de diffusion a eu les descriptions détaillées, il a produit de meilleures images qui représentaient clairement les significations métaphoriques.

#Retours des Experts

Les experts ont remarqué que plusieurs modèles ont encore des marges d'amélioration. Certains problèmes viennent du fait que les modèles ne parviennent pas à représenter la métaphore de manière précise. Ils peuvent mal comprendre le prompt ou rater des détails importants qui transmettent le sens de la métaphore.

Par exemple, prenons la métaphore "Il était comme un papillon en automne, attendant d'être détruit par le premier gel." Le prompt évoque un homme fragile et un papillon au milieu des feuilles d'automne. Si le modèle capture bien le papillon mais ne montre pas l'homme, l'essence complète de la métaphore est perdue.

Les retours des experts aident à orienter les futures améliorations en mettant en lumière où les modèles manquent de profondeur pour réaliser pleinement les métaphores visuelles.

#Utiliser le Dataset pour d'Autres Applications

Au-delà de la génération de métaphores visuelles, le dataset peut aussi améliorer d'autres domaines, comme l'entraînement de modèles vision-langage. Ces modèles doivent comprendre et interpréter les images et sont souvent entraînés sur de grands datasets. En utilisant notre dataset de métaphores visuelles, les modèles peuvent mieux capturer les significations métaphoriques.

Par exemple, on a exploré comment un modèle vision-langage performait sur une tâche où il devait déterminer si une affirmation était supportée par une image. En incluant notre dataset dans son entraînement, le modèle a montré une amélioration significative en précision. Ça indique que le dataset aide non seulement à générer des métaphores mais améliore aussi la compréhension globale du langage visuel.

#L'Importance de la Compositionalité

La capacité à combiner différents éléments pour créer une métaphore cohérente est essentielle. Chaque métaphore visuelle implique souvent plusieurs éléments qui doivent s'intégrer logiquement. Par exemple, pour visualiser "L'amour est un crocodile dans la rivière du désir," l'image doit transmettre à la fois l'émotion de l'amour et la représentation d'un crocodile dans une rivière.

Notre dataset illustre le besoin de compositionalité, car il montre comment différents éléments peuvent être combinés pour transmettre des significations complexes de manière efficace. Cet aspect est crucial pour avancer dans les capacités des modèles à générer des métaphores visuelles.

#Directions Futures

Bien que les résultats de notre collaboration soient prometteurs, il reste encore des domaines à améliorer. Améliorer la façon dont les modèles interprètent les prompts et génèrent des descriptions plus détaillées peut encore améliorer la qualité des images finales. De plus, élargir le dataset pour inclure une plus grande variété de métaphores linguistiques et explorer d'autres langues pourrait donner des exemples plus variés aux modèles.

#Conclusion

La collaboration entre les Grands Modèles de Langage et les Modèles de Diffusion améliore significativement la génération de métaphores visuelles à partir de métaphores linguistiques. Cette approche crée non seulement un dataset de haute qualité mais ouvre aussi des portes pour mieux comprendre et interpréter le langage figuré sous forme visuelle.

En combinant les forces des modèles de génération de langage et d'images, on peut repousser les limites de la visualisation des concepts abstraits. À mesure que les modèles continuent d'évoluer, on peut s'attendre à des représentations encore plus créatives et précises de notre langage à travers les images.