Aprimorando o Marketing Multimodal com Grafos de Conhecimento

Dispositivos inteligentes deram aos usuários a capacidade de compartilhar informações de diferentes formas, como texto, imagens e vídeos. Essa mistura de mídias é chamada de Informação Multimodal. As empresas buscam usar esses diferentes estilos de comunicação para atrair clientes online. No entanto, os modelos computacionais atuais muitas vezes têm dificuldade em entender o significado completo quando texto e imagens são apresentados juntos.

Modelos de Linguagem Grande (LLMs) e Modelos de Linguagem Visual (VLMs) conseguem lidar com texto e imagens, mas muitas vezes perdem conexões importantes entre eles. Esses modelos aprendem a partir de grandes quantidades de dados, mas não têm o conhecimento de senso comum que os humanos usam para entender as coisas. Essa falta significa que eles podem interpretar ou representar mal as informações. Por exemplo, um modelo pode ver uma imagem de duas mulheres sorrindo e um texto que diz "Vamos!" mas não conseguir captar a mensagem mais profunda que visa empoderar mulheres e desafiar normas sociais.

Neste estudo, propondo uma nova maneira de melhorar como esses modelos funcionam, especialmente para campanhas de marketing. Ao combinar o conhecimento de senso comum de Grafos de Conhecimento com modelos de linguagem visual, pretendemos prever melhor a eficácia de uma campanha de marketing. Acreditamos que ter ambos os tipos de conhecimento-o explícito dos grafos de conhecimento e o implícito dos dados-ajudará a formar uma compreensão mais clara entre os diferentes tipos de informação.

#A Importância do Marketing Multimodal

Muitas plataformas online usam tanto imagens quanto textos para divulgar seus produtos ou ideias. Por exemplo, redes sociais e sites de e-commerce dependem dessas combinações para chamar atenção. No entanto, não se trata apenas de juntar algumas palavras e imagens. Para realmente se conectar com os consumidores, as mensagens precisam ressoar em múltiplos níveis.

O marketing eficaz não só precisa chamar atenção, mas também considerar as emoções humanas, experiências e compreensão contextual. Quando empresas usam várias formas de mídia, esperam criar uma experiência mais envolvente. No entanto, analisar como essas campanhas funcionam é complexo. Diferentes tipos de mídia podem interagir de maneiras inesperadas, e o desafio está em entender essas interações.

#Desafios com Modelos Atuais

Modelos VLM mais antigos, como MMBT, ViLBERT e LXMERT, focavam em conexões simples entre texto e imagens. Eles tratavam cada tipo de mídia separadamente, o que limitava sua compreensão do todo. Modelos mais recentes como BLIP2 e GPT-4 avançaram ao capturar relacionamentos mais complexos entre texto e imagens. Ainda assim, esses modelos muitas vezes produzem erros, conhecidos como alucinações, onde criam conexões que não existem na realidade.

Por exemplo, se um modelo recebe uma imagem de duas mulheres e um texto correspondente, ele pode descrever incorretamente detalhes que não estão presentes na imagem, como celulares ou ações específicas como tirar selfies. Essas imprecisões podem levar a mal-entendidos em mensagens de marketing, o que é problemático para empresas que buscam criar uma narrativa eficaz.

#O Papel dos Grafos de Conhecimento

Para enfrentar esses desafios, apresentamos o conceito de grafos de conhecimento. Esses são representações estruturadas de informações onde diferentes pedaços de conhecimento estão conectados. Ao incorporar esses grafos em nossos modelos, oferecemos uma maneira de aprimorar a compreensão das relações entre diferentes partes da informação.

Em nossa pesquisa, descobrimos que adicionar conhecimento de um grafo chamado ConceptNet melhorou a forma como os modelos interpretaram entradas multimodais. Isso significa que, ao fundamentar sua compreensão em um contexto mais amplo, os modelos podem fazer previsões mais precisas sobre a eficácia de uma campanha.

#Compreendendo a Congruência Contextual

Discutimos um conceito chamado congruência contextual. Isso se refere a quão bem diferentes tipos de mídia funcionam juntos para entregar uma mensagem única e clara. Quando texto e imagens são congruentes, eles se apoiam mutuamente e transmitem um significado unificado. Nosso objetivo é reduzir a distância semântica entre imagens e texto, ou seja, a relação entre eles deve ser mais clara e fácil de interpretar.

Para medir essa congruência, observamos quão de perto as diferentes representações da mídia se alinham. Se conseguirmos uma conexão mais forte, temos mais chances de prever com precisão o sucesso das iniciativas de marketing.

#Questões de Pesquisa

Para guiar nossa investigação, focamos em duas questões principais:

1. Podemos melhorar quão bem as representações de conteúdo multimodal se conectam usando conhecimento externo enquanto descobrimos conexões sutis entre diferentes tipos de mídia?
2. Representações mais congruentes levam a um Desempenho Preditivo melhor para o sucesso dessas iniciativas de marketing?

#Nossa Abordagem

Usamos um método que combina conhecimento de senso comum externo com técnicas de aprendizado de máquina para aprimorar representações multimodais.

1. Coleta de Dados: Primeiro, coletamos pares de imagens e textos de um conjunto de dados de campanhas de crowdfunding.
2. Geração de Representações: Criamos embeddings ou representações dessas imagens e textos usando modelos apropriados.
3. Recuperação de Conhecimento: Obtivemos conceitos relevantes do nosso grafo de conhecimento com base no conteúdo das imagens e textos.
4. Fusão de Conhecimento e Mídia: Finalmente, fundimos essas representações, garantindo que tanto a mídia quanto o conhecimento trabalhassem juntos para formar uma compreensão mais coerente.

#O Conjunto de Dados

Escolhemos campanhas de crowdfunding do Kickstarter como nosso conjunto de dados. Essas campanhas costumam ter medidas de sucesso claras com base em se atingem ou não suas metas de financiamento. Nossa análise envolveu mais de 75.000 projetos, permitindo-nos tirar conclusões significativas sobre a eficácia do marketing multimodal.

Em nosso conjunto de dados, 39% dos projetos tiveram sucesso em suas campanhas, enquanto 61% falharam em atingir suas metas. Esse desequilíbrio proporcionou um terreno rico para análise, já que a relação entre o tipo de conteúdo usado e o sucesso das campanhas é crucial.

#Análise Exploratória

Através de uma análise exploratória, examinamos as semelhanças entre os embeddings de texto e imagem, tanto com quanto sem a integração do conhecimento. Nossos achados indicaram que incluir conhecimento reduziu significativamente a lacuna entre as duas modalidades.

Visualizamos isso usando técnicas que demonstram quão próximas as clusters de representações de imagem e texto se tornaram quando o conhecimento foi adicionado. Essa clusterização não só apoia nossa hipótese, mas também mostra um benefício claro de usar grafos de conhecimento na análise de marketing multimodal.

#Modelos de Embedding de Conhecimento

Para recuperação de conhecimento, utilizamos modelos que conseguem capturar relações de forma eficaz. Usamos conceitos do ConceptNet para melhorar a forma como nossos modelos entendiam e conectavam diferentes pedaços de informação.

Também analisamos vários modelos de embedding de conhecimento que ajudaram a representar o conhecimento de forma precisa. Esses modelos capturam o significado por trás dos conceitos e suas inter-relações, aprimorando a eficácia do nosso modelo principal na compreensão de dados multimodais.

#Resultados

Nossos experimentos confirmaram que modelos que incorporam conhecimento externo de grafos superam aqueles que não o fazem. Em particular, notamos que o modelo com melhor desempenho teve uma alta taxa de precisão e recall, indicando sua eficácia em prever campanhas bem-sucedidas.

Através de nossas descobertas, observamos que utilizar conhecimento melhora a habilidade dos modelos de capturar o significado pretendido em diferentes tipos de mídia, levando, em última análise, a um desempenho melhor na previsão do sucesso das iniciativas de marketing.

#Análise de Erros

Nossa análise de erros destacou algumas observações-chave.

1. Omissões pelos Modelos Baseline: Modelos baseline muitas vezes falharam em captar conexões importantes, levando a classificações erradas. Eles geralmente reconheciam apenas atributos superficiais, enquanto nossos modelos, que incluíam conhecimento externo, conseguiram capturar significados contextuais mais ricos.

2. Recuperação de Conhecimento Ruidoso: Embora a integração de conhecimento tenha melhorado o desempenho, às vezes introduziu informações irrelevantes ou incorretas. Isso aconteceu quando os mecanismos de recuperação de conhecimento pegaram conceitos ruidosos ou não relacionados que não estavam alinhados com a mensagem pretendida.

De qualquer forma, é crucial encontrar um equilíbrio ao usar conhecimento para evitar introduzir erros que possam distorcer previsões.

#Impacto Social

Compreender como o marketing multimodal realmente funciona pode ter implicações significativas. Boas previsões podem ajudar empresas a terem sucesso, mas há considerações éticas. Saber como criar mensagens persuasivas pode ser usado para resultados positivos, como promover produtos ou serviços benéficos.

No entanto, também pode ser mal utilizado para promover desinformação ou campanhas prejudiciais. Enfatizamos a importância de usar essas ferramentas poderosas de forma responsável, especialmente em tempos em que o conteúdo digital pode facilmente influenciar opiniões e comportamentos.

#Limitações e Trabalho Futuro

Embora o trabalho mostre promessas, reconhecemos que ainda existem limitações na nossa abordagem. Gerenciar conhecimento ruidoso e assegurar a eficácia geral do modelo em vários contextos é um desafio que precisa ser abordado.

Além disso, embora tenhamos focado em marketing, os métodos desenvolvidos aqui poderiam se aplicar a outros campos. Pesquisas futuras poderiam validar a eficácia dessas estratégias além do marketing, explorando áreas como segurança da informação, eficácia de políticas e análise de comportamento social.

#Conclusão

Nosso estudo demonstra que melhorar a compreensão entre texto e imagem através da integração de conhecimento externo melhora significativamente a eficácia das campanhas de marketing multimodal. Usando grafos de conhecimento para reduzir a distância semântica entre diferentes tipos de mídia, podemos criar previsões mais precisas para o sucesso de campanhas.

Dada a rápida crescimento do marketing digital, especialmente em plataformas de redes sociais e e-commerce, as abordagens discutidas aqui fornecem um caminho para as empresas criarem conteúdos melhores e mais persuasivos.

No geral, combinar conhecimento de senso comum com aprendizado de máquina oferece uma estratégia poderosa para navegar nas complexidades do marketing multimodal, levando a campanhas mais bem-sucedidas que ressoam com o público.