Ligando Linguagem e Imagens Através de Metáforas Visuais

Metáforas visuais são imagens que comunicam ideias ao representá-las de uma forma simbólica. Elas são usadas em várias áreas, principalmente na publicidade, para transmitir mensagens de forma eficaz. Assim como palavras podem ter significados metafóricos, as imagens também podem pegar conceitos de uma área e mostrar em outra. Isso ajuda as pessoas a entenderem ideias complexas de um jeito mais simples.

#O Desafio

Criar metáforas visuais a partir de metáforas linguísticas não é nada fácil. Exige entender o significado mais profundo das palavras e montar cenas que transmitam esse significado. Por exemplo, se a gente diz "Meu quarto é um chiqueiro," não estamos dizendo que tem porcos lá dentro. Estamos querendo dizer que está bagunçado. Para criar uma imagem para essa frase, precisamos identificar o aspecto bagunçado e achar visuais que representem tanto um quarto quanto a bagunça de forma eficaz.

Modelos tradicionais de texto para imagem, como o DALL E 2, conseguem produzir imagens a partir de descrições em texto. Mas muitas vezes eles têm dificuldade quando o texto inclui linguagem metafórica. Eles podem retratar as palavras literais sem entender o que realmente significam. Por exemplo, eles podem criar um quarto rosa brilhante com um porquinho de brinquedo em vez de mostrar um quarto bagunçado.

#A Solução: Colaboração entre Modelos de Linguagem e Imagem

Para resolver esse problema, a gente propõe uma colaboração entre Grandes Modelos de Linguagem (LLMs) e Modelos de Difusão. Os LLMs são feitos para processar e gerar texto, enquanto os Modelos de Difusão conseguem criar imagens a partir de descrições em texto. Trabalhando juntos, eles podem criar melhores metáforas visuais.

1. Modelos de Linguagem Geram Texto Detalhado: A gente usa um Modelo de Linguagem chamado Instruct GPT-3 para transformar metáforas linguísticas em texto mais detalhado que descreve os elementos visuais da metáfora. Isso envolve identificar objetos chave, suas relações e os significados por trás.

2. Modelos de Imagem Criam Visuais: O texto detalhado do modelo de linguagem é então alimentado em um modelo baseado em difusão, como o DALL E 2, que gera imagens com base no texto expandido.

Essa colaboração garante que os modelos de imagem tenham instruções mais claras, resultando em representações visuais melhores das metáforas.

#Construindo um Conjunto de Dados de Alta Qualidade

Para criar um conjunto de dados de alta qualidade, a gente usou uma abordagem de colaboração entre Humanos e IA. Isso envolve:

1. Selecionando Metáforas Linguísticas: A gente escolhe metáforas que podem ser facilmente visualizadas. Por exemplo, metáforas que descrevem objetos físicos ou emoções que podem ser retratadas em imagens.

2. Gerando Elaborações Visuais: O LLM gera descrições visuais detalhadas a partir das metáforas escolhidas. Essas descrições incluem os elementos chave que devem aparecer na imagem.

3. Gerando Imagens: As descrições detalhadas são usadas como entrada para os modelos de difusão para gerar as imagens. Depois, especialistas revisam as imagens geradas para garantir que elas retratem com precisão os significados pretendidos pelas metáforas.

Através desse processo, criamos um conjunto de dados com mais de 6.000 imagens únicas correspondendo a 1.540 metáforas diferentes.

#Avaliando a Qualidade das Metáforas Visuais

Para avaliar como a colaboração entre o LLM e o modelo de imagem funciona, fizemos avaliações com ilustradores profissionais. Eles compararam imagens geradas pelos modelos usando apenas a metáfora original e aquelas que usaram as descrições elaboradas do modelo de linguagem.

#Avaliações Humanas

Nessas avaliações, os artistas classificaram as imagens com base em quão bem elas representavam a metáfora. Eles deram feedback sobre o que poderia ser mudado para melhorar as imagens. Esse feedback ajuda a identificar onde os modelos podem não capturar completamente os significados pretendidos pelas metáforas.

Os resultados mostraram que incorporar as elaborações do modelo de linguagem melhorou significativamente a qualidade das imagens geradas. Quando o modelo de difusão recebeu as descrições detalhadas, produziu imagens melhores que claramente retratavam os significados metafóricos.

#Insights das Avaliações de Especialistas

Os especialistas apontaram que muitos modelos ainda têm áreas para melhorar. Alguns problemas surgem porque os modelos não conseguem retratar a metáfora com precisão. Eles podem interpretar mal o prompt ou perder detalhes importantes que transmitem o significado da metáfora.

Por exemplo, considere a metáfora "Ele era como uma borboleta no outono, esperando ser destruído pela primeira geada." O prompt sugere um homem frágil e uma borboleta entre as folhas de outono. Se o modelo captura bem a borboleta, mas falha em mostrar o homem, a essência completa da metáfora se perde.

O feedback dos especialistas ajuda a direcionar melhorias futuras, destacando onde os modelos carecem da profundidade necessária para realizar completamente as metáforas visuais.

#Usando o Conjunto de Dados para Outras Aplicações

Além de gerar metáforas visuais, o conjunto de dados também pode melhorar outras áreas, como o treinamento de modelos de visão-linguagem. Esses modelos precisam entender e interpretar imagens e geralmente são treinados em grandes Conjuntos de dados. Usando nosso conjunto de dados de metáforas visuais, os modelos podem aprender a capturar melhor os significados metafóricos.

Por exemplo, a gente explorou como um modelo de visão-linguagem se saiu em uma tarefa onde precisava determinar se uma afirmação era apoiada por uma imagem. Ao incluir nosso conjunto de dados em seu treinamento, o modelo mostrou uma melhoria significativa na precisão. Isso indica que o conjunto de dados não só ajuda a gerar metáforas, mas também melhora a compreensão geral da linguagem Visual.

#A Importância da Composição

A capacidade de combinar diferentes elementos para criar uma metáfora coesa é essencial. Cada metáfora visual geralmente envolve múltiplos elementos que precisam se encaixar logicamente. Por exemplo, para visualizar "O amor é um crocodilo no rio do desejo," a imagem deve transmitir tanto a emoção do amor quanto a representação de um crocodilo em um rio.

Nosso conjunto de dados exemplifica a necessidade de composição, pois demonstra como diferentes elementos podem ser combinados para transmitir significados complexos de forma eficaz. Esse aspecto é crucial para avançar nas capacidades dos modelos em gerar metáforas visuais.

#Direções Futuras

Embora os resultados da nossa colaboração mostrem grande potencial, ainda há áreas para crescimento. Melhorar a forma como os modelos interpretam os prompts e geram descrições mais detalhadas pode elevar ainda mais a qualidade das imagens finais. Além disso, expandir o conjunto de dados para incluir uma gama mais ampla de metáforas linguísticas e explorar outros idiomas pode fornecer exemplos mais variados para os modelos aprenderem.

#Conclusão

A colaboração entre Grandes Modelos de Linguagem e Modelos de Difusão melhora significativamente a geração de metáforas visuais a partir de metáforas linguísticas. Essa abordagem não só cria um conjunto de dados de alta qualidade, mas também abre portas para um melhor entendimento e interpretação da linguagem figurativa em forma visual.

Ao combinar as forças de ambos os modelos de geração de linguagem e imagem, podemos expandir os limites de como visualizamos conceitos abstratos. Com a melhoria contínua dos modelos, podemos esperar representações ainda mais criativas e precisas da nossa linguagem através de imagens.