Verbesserung von multimodalem Marketing mit Wissensgraphen

Smart Devices haben den Nutzern die Möglichkeit gegeben, Informationen in verschiedenen Formen zu teilen, wie Text, Bilder und Videos. Diese Mischung aus Medien wird als multimodale Information bezeichnet. Unternehmen versuchen, diese verschiedenen Kommunikationsstile zu nutzen, um Kunden online zu gewinnen. Aktuelle Computer-Modelle haben jedoch oft Schwierigkeiten, die volle Bedeutung zu verstehen, wenn Text und Bilder zusammen präsentiert werden.

Grosse Sprachmodelle (LLMs) und visuelle Sprachmodelle (VLMs) können Text und Bilder verarbeiten, verpassen dabei aber oft wichtige Verbindungen zwischen ihnen. Diese Modelle lernen aus riesigen Datenmengen, haben aber nicht das gesunde Menschenverstand-Wissen, das Menschen nutzen, um Sinn aus Dingen zu machen. Dieser Mangel führt dazu, dass sie Informationen missverstehen oder falsch darstellen können. Zum Beispiel könnte ein Modell ein Bild von zwei lächelnden Frauen sehen und einen Text lesen, der sagt "Lass uns gehen!", aber die tiefere Botschaft, die Frauen empowern und gesellschaftliche Normen infrage stellen soll, nicht erfassen.

In dieser Studie schlagen wir eine neue Methode vor, um zu verbessern, wie diese Modelle funktionieren, besonders für Marketingkampagnen. Indem wir gesunden Menschenverstand aus Wissensgraphen mit visuellen Sprachmodellen kombinieren, wollen wir besser vorhersagen, wie effektiv eine Marketingkampagne sein wird. Wir glauben, dass das Vorhandensein beider Wissensarten – das explizite aus Wissensgraphen und das implizite aus Daten – helfen wird, ein klareres Verständnis zwischen den verschiedenen Informationsarten zu schaffen.

#Die Bedeutung von multimodalem Marketing

Viele Online-Plattformen nutzen sowohl Bilder als auch Text, um ihre Produkte oder Ideen zu vermarkten. Soziale Medien und E-Commerce-Seiten setzen auf diese Kombinationen, um Aufmerksamkeit zu erregen. Es geht jedoch nicht nur darum, ein paar Worte und Bilder zusammenzuwerfen. Um wirklich mit den Verbrauchern zu verbinden, müssen die Botschaften auf mehreren Ebenen ankommen.

Effektives Marketing benötigt nicht nur Aufmerksamkeit, sondern auch die Berücksichtigung menschlicher Emotionen, Erfahrungen und des Kontextverständnisses. Wenn Unternehmen mehrere Medienformen verwenden, hoffen sie, ein ansprechenderes Erlebnis zu schaffen. Die Analyse, wie gut diese Kampagnen funktionieren, ist jedoch komplex. Verschiedene Medientypen können auf unerwartete Weise interagieren, und die Herausforderung besteht darin, diese Interaktionen zu verstehen.

#Herausforderungen mit aktuellen Modellen

Ältere VLMs wie MMBT, ViLBERT und LXMERT konzentrierten sich auf einfache Verbindungen zwischen Text und Bildern. Sie behandelten jede Medienart separat, was ihr Verständnis des Gesamtbildes einschränkte. Neuere Modelle wie BLIP2 und GPT-4 haben Fortschritte gemacht, indem sie komplexere Beziehungen zwischen Text und Bildern erfasst haben. Dennoch produzieren diese Modelle oft Fehler, die als Halluzinationen bekannt sind, bei denen sie Verbindungen schaffen, die in der Realität nicht existieren.

Wenn ein Modell zum Beispiel ein Bild von zwei Frauen und den entsprechenden Text erhält, könnte es fälschlicherweise Details beschreiben, die im Bild nicht vorhanden sind, wie Handys oder spezifische Aktionen wie Selfies machen. Diese Ungenauigkeiten können zu Missverständnissen in Marketingbotschaften führen, was für Unternehmen problematisch ist, die eine effektive Erzählung erstellen möchten.

#Die Rolle von Wissensgraphen

Um diese Herausforderungen zu bewältigen, führen wir das Konzept der Wissensgraphen ein. Das sind strukturierte Darstellungen von Informationen, bei denen verschiedene Wissensstücke miteinander verbunden sind. Durch die Einbeziehung dieser Graphen in unsere Modelle bieten wir eine Möglichkeit, das Verständnis der Beziehungen zwischen verschiedenen Informationsstücken zu verbessern.

In unserer Forschung fanden wir heraus, dass das Hinzufügen von Wissen aus einem Graphen namens ConceptNet die Interpretation multimodaler Eingaben durch die Modelle verbesserte. Das bedeutet, dass die Modelle durch die Verankerung ihres Verständnisses in einem breiteren Kontext genauere Vorhersagen über die Effektivität einer Kampagne treffen können.

#Verständnis der kontextuellen Kongruenz

Wir diskutieren ein Konzept namens kontextuelle Kongruenz. Das bezieht sich darauf, wie gut verschiedene Medienarten zusammenarbeiten, um eine einzige, klare Botschaft zu übermitteln. Wenn Text und Bilder kongruent sind, unterstützen sie sich gegenseitig und vermitteln eine einheitliche Bedeutung. Unser Ziel ist es, die semantische Distanz zwischen Bildern und Texten zu verringern, was bedeutet, dass die Beziehung zwischen ihnen klarer und einfacher zu interpretieren sein sollte.

Um diese Kongruenz zu messen, sehen wir uns an, wie eng die verschiedenen Darstellungen der Medien übereinstimmen. Wenn wir eine engere Verbindung erreichen können, sind wir eher in der Lage, den Erfolg von Marketinginitiativen genau vorherzusagen.

#Forschungsfragen

Um unsere Untersuchung zu leiten, konzentrierten wir uns auf zwei Hauptfragen:

1. Können wir verbessern, wie gut die Darstellungen multimodalen Inhalts miteinander verbunden sind, indem wir externes Wissen nutzen und subtile Verbindungen zwischen verschiedenen Medienarten entdecken?
2. Führen kongruentere Darstellungen zu einer besseren prognostischen Leistung für den Erfolg dieser Marketinginitiativen?

#Unser Ansatz

Wir verwendeten eine Methode, die externes Alltagswissen mit maschinellen Lerntechniken kombiniert, um multimodale Darstellungen zu verbessern.

1. Datensammlung: Zuerst sammelten wir Bild- und Textpaare aus einem Datensatz von Crowdfunding-Kampagnen.
2. Generierung von Darstellungen: Wir erstellten Embeddings oder Darstellungen dieser Bilder und Texte mit geeigneten Modellen.
3. Wissenserhebung: Wir erhielten relevante Konzepte aus unserem Wissensgraphen basierend auf dem Inhalt von Bild und Text.
4. Fusion von Wissen und Medien: Schliesslich fusionierten wir diese Darstellungen, wobei wir sicherstellten, dass sowohl die Medien als auch das Wissen zusammenarbeiteten, um ein kohärenteres Verständnis zu bilden.

#Der Datensatz

Wir wählten Crowdfunding-Kampagnen von Kickstarter als unseren Datensatz. Diese Kampagnen haben oft klare Erfolgsmasse, basierend darauf, ob sie ihre Finanzierungsziele erreichen. Unsere Analyse umfasste über 75.000 Projekte, was uns bedeutungsvolle Schlussfolgerungen zur Effektivität multimodalen Marketings ermöglichte.

In unserem Datensatz waren 39 % der Projekte erfolgreich in ihren Kampagnen, während 61 % ihre Ziele nicht erreichten. Dieses Ungleichgewicht bot einen reichen Boden für Analysen, da die Beziehung zwischen der Art des verwendeten Inhalts und dem Erfolg der Kampagnen entscheidend ist.

#Explorative Analyse

Durch eine explorative Analyse untersuchten wir die Ähnlichkeiten zwischen den Text- und Bild-Embeddings, sowohl mit als auch ohne die Integration von Wissen. Unsere Ergebnisse zeigten, dass das Einbeziehen von Wissen die Lücke zwischen den beiden Modalitäten erheblich reduzierte.

Wir visualisierten dies mit Techniken, die demonstrieren, wie eng die Cluster der Bilddarstellungen und der Textdarstellungen zusammenkamen, als Wissen hinzugefügt wurde. Dieses Clustering unterstützt nicht nur unsere Hypothese, sondern zeigt auch einen klaren Vorteil der Verwendung von Wissensgraphen in der Analyse multimodalen Marketings.

#Wissens-Embedding-Modelle

Für die Wissenserhebung verwendeten wir Modelle, die Beziehungen effektiv erfassen können. Wir nutzten Konzepte aus ConceptNet, um zu verbessern, wie unsere Modelle verschiedene Informationsstücke verstanden und miteinander verbanden.

Wir schauten uns auch mehrere Wissens-Embedding-Modelle an, die halfen, das Wissen genau darzustellen. Diese Modelle erfassen die Bedeutung der Konzepte und deren Beziehungen zueinander, wodurch die Effektivität unseres Hauptmodells im Verständnis multimodaler Daten erhöht wird.

#Ergebnisse

Unsere Experimente bestätigten, dass Modelle, die externes Wissen aus Graphen einbeziehen, besser abschneiden als solche, die dies nicht tun. Insbesondere bemerkten wir, dass das bestperformende Modell eine hohe Präzisions- und Rückrufrate hatte, was seine Effektivität bei der Vorhersage erfolgreicher Kampagnen anzeigt.

Durch unsere Ergebnisse beobachteten wir, dass die Nutzung von Wissen die Fähigkeit der Modelle verbessert, die beabsichtigte Bedeutung über verschiedene Medientypen hinweg zu erfassen, was letztendlich zu einer besseren Leistung bei der Vorhersage des Erfolgs von Marketinginitiativen führt.

#Fehleranalyse

Unsere Fehleranalyse hob einige wichtige Beobachtungen hervor.

1. Auslassungen durch Baseline-Modelle: Baseline-Modelle erfassten oft wichtige Verbindungen nicht, was zu Fehlklassifizierungen führte. Sie erkannten typischerweise nur oberflächliche Attribute, während unsere Modelle, die externes Wissen einbeziehen, in der Lage waren, reichhaltigere, kontextuelle Bedeutungen zu erfassen.

2. Geräuschhafte Wissenserhebung: Obwohl die Integration von Wissen die Leistung verbesserte, führte sie manchmal zu irrelevanten oder falschen Informationen. Dies geschah, als die Wissensabrufmechanismen geräuschhafte oder nicht verwandte Konzepte erfassten, die nicht mit der beabsichtigten Botschaft übereinstimmten.

In jedem Fall ist es wichtig, ein Gleichgewicht zu finden, wenn man Wissen nutzt, um zu vermeiden, dass Fehler eingeführt werden, die Vorhersagen in die Irre führen könnten.

#Soziale Auswirkungen

Zu verstehen, wie multimodales Marketing tatsächlich funktioniert, kann bedeutende Folgen haben. Gute Vorhersagen können Unternehmen zum Erfolg verhelfen, aber es gibt ethische Überlegungen. Zu wissen, wie man überzeugende Botschaften erstellt, kann für positive Ergebnisse verwendet werden, wie die Förderung nützlicher Produkte oder Dienstleistungen.

Es kann jedoch auch missbraucht werden, um Fehlinformationen oder schädliche Kampagnen zu fördern. Wir betonen die Wichtigkeit, diese mächtigen Werkzeuge verantwortungsvoll zu nutzen, insbesondere in Zeiten, in denen digitale Inhalte leicht Meinungen und Verhaltensweisen beeinflussen können.

#Einschränkungen und zukünftige Arbeiten

Obwohl die Arbeit vielversprechend ist, erkennen wir, dass es noch Einschränkungen in unserem Ansatz gibt. Das Management von geräuschhaftem Wissen und die Gewährleistung der Gesamtwirksamkeit des Modells in verschiedenen Kontexten ist eine Herausforderung, die angegangen werden muss.

Darüber hinaus könnten die hier entwickelten Methoden auch auf andere Bereiche angewendet werden, auch wenn wir uns auf Marketing konzentriert haben. Zukünftige Forschungen könnten die Wirksamkeit dieser Strategien über das Marketing hinaus validieren und Bereiche wie Informationssicherheit, politische Effektivität und Analyse sozialen Verhaltens erkunden.

#Fazit

Unsere Studie zeigt, dass die Verbesserung des Verständnisses zwischen Text und Bild durch die Integration externen Wissens die Effektivität multimodaler Marketingkampagnen erheblich steigert. Durch die Nutzung von Wissensgraphen zur Reduzierung der semantischen Distanz zwischen verschiedenen Medientypen können wir genauere Vorhersagen über den Erfolg von Kampagnen treffen.

Angesichts des raschen Wachstums des digitalen Marketings, insbesondere in sozialen Medien und auf E-Commerce-Plattformen, bieten die hier diskutierten Ansätze Unternehmen einen Weg, bessere, überzeugendere Inhalte zu erstellen.

Insgesamt bietet die Kombination aus gesundem Menschenverstand und maschinellem Lernen eine mächtige Strategie, um die Komplexität des multimodalen Marketings zu navigieren, was zu erfolgreicheren Kampagnen führt, die bei den Zielgruppen resonieren.