Migliorare il marketing multimodale con i grafi di conoscenza

I dispositivi smart hanno dato agli utenti la possibilità di condividere informazioni in diverse forme, come testo, immagini e video. Questo mix di media si chiama informazione multimodale. Le aziende cercano di usare questi diversi stili di comunicazione per attirare clienti online. Tuttavia, i modelli di computer attuali spesso faticano a capire il significato completo quando testo e immagini vengono presentati insieme.

I Modelli Linguistici di Grandi Dimensioni (LLM) e i Modelli Linguistici Visivi (VLM) possono gestire testo e immagini ma spesso mancano di importanti connessioni tra di essi. Questi modelli apprendono da enormi quantità di dati ma non hanno il senso comune che gli esseri umani usano per dare un senso alle cose. Questa mancanza significa che possono fraintendere o rappresentare male le informazioni. Ad esempio, un modello potrebbe vedere un'immagine di due donne che sorridono e un testo che dice "Andiamo!" ma non afferrare il messaggio più profondo inteso a dare potere alle donne e sfidare le norme sociali.

In questo studio, proponiamo un nuovo modo per migliorare come funzionano questi modelli, specialmente per le campagne di marketing. Combinando la conoscenza di senso comune dai grafi conoscitivi con i modelli linguistici visivi, puntiamo a prevedere meglio quanto sarà efficace una campagna di marketing. Crediamo che avere entrambi i tipi di conoscenza-quella esplicita dai grafi conoscitivi e quella implicita dai dati-aiuterà a formare una comprensione più chiara tra i diversi tipi di informazioni.

#L'importanza del Marketing Multimodale

Molte piattaforme online usano sia immagini che testo per promuovere i loro prodotti o idee. Per esempio, i social media e i siti di e-commerce si basano su queste combinazioni per catturare l'attenzione. Tuttavia, non si tratta solo di buttare insieme alcune parole e immagini. Per connettersi davvero con i consumatori, i messaggi devono risuonare su più livelli.

Un marketing efficace non solo ha bisogno di attenzione, ma anche di considerazione delle emozioni, esperienze e comprensione contestuale umane. Quando le aziende usano più forme di media, sperano di creare un'esperienza più coinvolgente. Tuttavia, analizzare quanto bene funzionano queste campagne è complesso. I diversi tipi di media possono interagire in modi inaspettati, e la sfida sta nel capire queste interazioni.

#Sfide con i Modelli Attuali

I VLM più datati come MMBT, ViLBERT e LXMERT si concentravano su connessioni semplici tra testo e immagini. Trattavano ciascun tipo di media separatamente, il che limitava la loro comprensione dell'intero quadro. Modelli più recenti come BLIP2 e GPT-4 hanno fatto progressi catturando relazioni più complesse tra testo e immagini. Tuttavia, questi modelli spesso producono errori, noti come allucinazioni, in cui creano connessioni che non esistono nella realtà.

Ad esempio, se a un modello viene fornita un'immagine di due donne e un testo corrispondente, potrebbe descrivere in modo inaccurato dettagli che non sono presenti nell'immagine, come telefoni cellulari o azioni specifiche come fare selfie. Queste imprecisioni possono portare a fraintendimenti nei messaggi di marketing, il che è problematico per le aziende che cercano di creare una narrativa efficace.

#Il Ruolo dei Grafi Conoscitivi

Per affrontare queste sfide, introduciamo il concetto di grafi conoscitivi. Questi sono rappresentazioni strutturate di informazioni dove diversi pezzi di conoscenza sono connessi. Incorporando questi grafi nei nostri modelli, forniamo un modo per migliorare la comprensione delle relazioni tra diversi pezzi di informazione.

Nella nostra ricerca, abbiamo scoperto che aggiungere conoscenza da un grafo chiamato ConceptNet ha migliorato come i modelli interpretano gli input multimodali. Questo significa che ancorando la loro comprensione in un contesto più ampio, i modelli possono fare previsioni più accurate sull'efficacia di una campagna.

#Comprendere la Congruenza Contestuale

Parliamo di un concetto chiamato congruenza contestuale. Questo si riferisce a quanto bene i diversi tipi di media funzionano insieme per trasmettere un messaggio unico e chiaro. Quando testo e immagini sono congruenti, si supportano a vicenda e trasmettono un significato unificato. Il nostro obiettivo è ridurre la distanza semantica tra immagini e testo, il che significa che la relazione tra di essi dovrebbe essere più chiara e più facile da interpretare.

Per misurare questa congruenza, osserviamo quanto strettamente le diverse rappresentazioni dei media si allineano. Se riusciamo a ottenere una connessione più stretta, è più probabile che possiamo prevedere con precisione il successo delle iniziative di marketing.

#Domande di Ricerca

Per guidare la nostra indagine, ci siamo concentrati su due domande principali:

1. Possiamo migliorare quanto bene le rappresentazioni del contenuto multimodale si connettono usando conoscenza esterna mentre scopriamo connessioni sottili tra diversi tipi di media?
2. Rappresentazioni più congruenti portano a migliori Prestazioni Predittive per il successo di queste iniziative di marketing?

#Il Nostro Approccio

Abbiamo utilizzato un metodo che combina la conoscenza di senso comune esterna con tecniche di apprendimento automatico per migliorare le rappresentazioni multimodali.

1. Raccolta Dati: Abbiamo prima raccolto coppie di immagini e testo da un dataset di campagne di crowdfunding.
2. Generazione di Rappresentazioni: Abbiamo creato embedding o rappresentazioni di queste immagini e testo usando modelli appropriati.
3. Recupero della Conoscenza: Abbiamo ottenuto concetti rilevanti dal nostro grafo conoscitivo basato sul contenuto di immagini e testo.
4. Fusione di Conoscenza e Media: Infine, abbiamo fuso queste rappresentazioni, assicurandoci che sia i media che la conoscenza lavorassero insieme per formare una comprensione più coerente.

#Il Dataset

Abbiamo scelto le campagne di crowdfunding da Kickstarter come nostro dataset. Queste campagne hanno spesso misure di successo chiare basate sul fatto che raggiungano o meno i loro obiettivi di finanziamento. La nostra analisi ha coinvolto oltre 75.000 progetti, permettendoci di trarre conclusioni significative sull'efficacia del marketing multimodale.

Nel nostro dataset, il 39% dei progetti ha avuto successo nelle loro campagne, mentre il 61% non ha raggiunto i loro obiettivi. Questo squilibrio ha fornito un terreno ricco per l'analisi poiché la relazione tra il tipo di contenuto usato e il successo delle campagne è cruciale.

#Analisi Esplorativa

Attraverso un'analisi esplorativa, abbiamo esaminato le somiglianze tra le embedding di testo e immagini, sia con che senza l'integrazione della conoscenza. I nostri risultati hanno indicato che includere conoscenza ha ridotto significativamente il divario tra le due modalità.

Abbiamo visualizzato questo usando tecniche che dimostrano quanto da vicino i cluster delle rappresentazioni delle immagini e del testo si siano avvicinati quando è stata aggiunta la conoscenza. Questa clustering non solo supporta la nostra ipotesi ma mostra anche un chiaro beneficio dell'uso dei grafi conoscitivi nell'analisi del marketing multimodale.

#Modelli di Embedding della Conoscenza

Per il recupero della conoscenza, abbiamo impiegato modelli che possono catturare relazioni in modo efficace. Abbiamo utilizzato concetti da ConceptNet per migliorare come i nostri modelli comprendevano e collegavano diversi pezzi di informazione.

Abbiamo anche esaminato diversi modelli di embedding della conoscenza che hanno aiutato a rappresentare la conoscenza in modo accurato. Questi modelli catturano il significato dietro i concetti e le loro interrelazioni, aumentando l'efficacia del nostro modello principale nella comprensione dei dati multimodali.

#Risultati

I nostri esperimenti hanno confermato che i modelli che incorporano conoscenza esterna dai grafi superano quelli che non lo fanno. In particolare, abbiamo notato che il modello con le migliori prestazioni aveva un alto tasso di precisione e richiamo, indicando la sua efficacia nel prevedere campagne di successo.

Attraverso i nostri risultati, abbiamo osservato che utilizzare conoscenza migliora la capacità dei modelli di catturare il significato intenzionato attraverso diversi tipi di media, portando infine a una migliore performance nel prevedere il successo delle iniziative di marketing.

#Analisi degli Errori

La nostra analisi degli errori ha evidenziato alcune osservazioni chiave.

1. Omissioni dai Modelli di Base: I modelli di base spesso non riuscivano a cogliere connessioni importanti, portando a classificazioni errate. Riconoscevano tipicamente solo attributi superficiali, mentre i nostri modelli, che includevano conoscenza esterna, erano in grado di catturare significati contestuali più ricchi.

2. Recupero della Conoscenza Rumorosa: Anche se l'integrazione della conoscenza ha migliorato le performance, a volte ha introdotto informazioni irrilevanti o errate. Questo è accaduto quando i meccanismi di recupero della conoscenza raccoglievano concetti rumorosi o non correlati che non si allineavano con il messaggio voluto.

In ogni caso, è importante trovare un equilibrio quando si utilizza la conoscenza per evitare di introdurre errori che potrebbero fuorviare le previsioni.

#Impatto Sociale

Capire come funziona realmente il marketing multimodale può avere implicazioni significative. Buone previsioni possono aiutare le aziende a avere successo, ma ci sono considerazioni etiche. Sapere come creare messaggi persuasivi può essere usato per risultati positivi, come promuovere prodotti o servizi benefici.

Tuttavia, può anche essere abusato per promuovere disinformazione o campagne dannose. Sottolineiamo l'importanza di utilizzare questi potenti strumenti in modo responsabile, specialmente in tempi in cui il contenuto digitale può facilmente influenzare opinioni e comportamenti.

#Limitazioni e Lavoro Futuro

Sebbene il lavoro mostri promettenti risultati, riconosciamo che ci sono ancora limitazioni nel nostro approccio. Gestire la conoscenza rumorosa e garantire l'efficacia complessiva del modello in vari contesti è una sfida che deve essere affrontata.

Inoltre, mentre ci siamo concentrati sul marketing, i metodi sviluppati qui potrebbero applicarsi ad altri campi. Ricerche future potrebbero convalidare l'efficacia di queste strategie oltre il marketing, esplorando aree come la sicurezza delle informazioni, l'efficacia delle politiche e l'analisi dei comportamenti sociali.

#Conclusione

Il nostro studio dimostra che migliorare la comprensione tra testo e immagine attraverso l'integrazione di conoscenza esterna migliora significativamente l'efficacia delle campagne di marketing multimodale. Usando grafi conoscitivi per ridurre la distanza semantica tra i diversi tipi di media, possiamo creare previsioni più accurate per il successo della campagna.

Data la rapida crescita del marketing digitale, specialmente nei social media e nelle piattaforme di e-commerce, gli approcci discussi qui offrono una via per le aziende per creare contenuti migliori e più persuasivi.

Nel complesso, combinare la conoscenza di senso comune con l'apprendimento automatico fornisce una strategia potente per navigare le complessità del marketing multimodale, portando a campagne più di successo che risuonano con il pubblico.