KI nutzen, um wirtschaftliche Entscheidungen vorherzusagen

Die Vorhersage von wirtschaftlichen Entscheidungen ist eine Aufgabe, bei der herausgefunden werden soll, wie Menschen Entscheidungen basierend auf verschiedenen Optionen treffen. Diese Aufgabe kann knifflig sein, weil es oft schwierig ist, Daten darüber zu sammeln, wie Menschen wählen. Die meisten Studien in der experimentellen Ökonomie haben sich mit einfachen Entscheidungen beschäftigt. Kürzlich haben Forscher im Bereich der künstlichen Intelligenz (KI) untersucht, ob grosse Sprachmodelle (LLMs) Menschen bei der Vorhersage dieser einfacheren Entscheidungen ersetzen können. Sie haben auch die Rolle des maschinellen Lernens in komplexeren Situationen betrachtet, die wiederholte Interaktionen und sprachbasierte Kommunikation wie Überzeugungsspiele beinhalten.

Das wirft eine interessante Frage auf: Können LLMs wirtschaftliche Umgebungen vollständig simulieren und Daten produzieren, die helfen, vorherzusagen, wie Menschen wählen, und somit traditionelle Wirtschaftslabore ersetzen? Unsere Studie ist der erste Schritt in diese Richtung und zeigt, dass es möglich ist. Wir haben herausgefunden, dass ein Modell, das nur mit Daten trainiert wurde, die von LLMs erzeugt wurden, Menschliches Verhalten in einem Überzeugungsspiel effektiv vorhersagen kann und sogar besser abschneidet als Modelle, die mit echten menschlichen Daten trainiert wurden.

Im maschinellen Lernen ist es entscheidend, gute Daten zu haben. Grosse, hochwertige Datensätze sind notwendig, damit Modelle in Aufgaben wie Klassifizierung oder Vorhersage von Ergebnissen gut abschneiden. Modelle des maschinellen Lernens werden oft verwendet, um vorherzusagen, wie Menschen in wirtschaftlichen Situationen handeln werden. Dafür braucht man Zugang zu Daten über menschliche Entscheidungen, die nicht immer verfügbar sind, da das Sammeln, Speichern und Verwenden dieser Daten Herausforderungen mit sich bringt. Die Erstellung der benötigten Werkzeuge zur Datensammlung kann kompliziert und kostspielig sein, und es gibt auch Bedenken hinsichtlich Datenschutz und rechtlichen Fragen.

Auf der anderen Seite haben sich LLMs in verschiedenen Anwendungen schnell weiterentwickelt, einschliesslich der Zusammenfassung von Texten, der Übersetzung von Sprachen und der Analyse von Stimmungen. Neueste Studien haben gezeigt, dass LLM-basierte Agenten als Entscheidungsträger in wirtschaftlichen Umgebungen agieren können, die darauf abzielen, ihre Ergebnisse bei komplexen Interaktionen zu maximieren. Die Verwendung von LLMs zur Generierung realistischer Daten bietet einen vielversprechenden neuen Ansatz. Wenn LLMs in der Lage sind, menschliches Entscheidungsverhalten in wirtschaftlichen Kontexten nachzuahmen, könnten sie eine billigere, effizientere Alternative zu traditionellen Methoden zur Ausbildung von Wahlvorhersagemodellen bieten.

In unserer Arbeit zeigen wir das Potenzial dieses Ansatzes in einem gängigen wirtschaftlichen Szenario, das sich auf ein Überzeugungsspiel konzentriert. In diesen Spielen versucht ein Spieler (der Sender), einen anderen Spieler (den Empfänger) zu beeinflussen, indem er selektive Informationen präsentiert. Der Sender weiss mehr über die Situation als der Empfänger, und sein Ziel ist es, auf eine Weise zu kommunizieren, die die Entscheidungen des Empfängers beeinflusst. Während verschiedene wirtschaftliche Faktoren in Überzeugungsspielen umfassend untersucht wurden, interessiert uns die Vorhersage der Entscheidungen menschlicher Empfänger, wenn sie mit festen Sendern interagieren, ohne tatsächliche menschliche Wahl-Daten in unser Training einzubeziehen.

Vorhersagen darüber, wie Menschen innerhalb dieses Überzeugungsrahmens handeln werden, sind wichtig für viele Bereiche, wie Einzelhandel, E-Commerce, Werbung und Empfehlungssysteme. Zum Beispiel nutzen Online-Plattformen oft Algorithmen, um Produkte für Nutzer vorzuschlagen. Wenn diese Plattformen genau vorhersagen können, wie Menschen auf verschiedene Überzeugungstaktiken reagieren, können sie ihre Operationen optimieren, um das Nutzerengagement und den Umsatz zu verbessern. Wichtig ist, dass die Möglichkeit, dies ohne Zugang zu echten menschlichen Daten zu tun, neue Türen öffnet, um verschiedene Strategien in einer kontrollierten Umgebung zu testen, Risiken zu minimieren und die Effizienz zu maximieren.

#Unser Beitrag

Unsere Forschung zeigt, dass die Vorhersage menschlichen Verhaltens in einem sprachbasierten Überzeugungsspiel ausschliesslich mit LLM-generierten Daten möglich ist. Wir haben ein Spiel verwendet, in dem ein Reisevermittler (Experte) versucht, einen Entscheidungsträger (DM) davon zu überzeugen, sein Hotel zu wählen, indem er Informationen darüber teilt. Die wahre Qualität des Hotels ist etwas, das der Experte privat hält, und der DM profitiert nur davon, das Angebot anzunehmen, wenn das Hotel von guter Qualität ist. Im Laufe des Spiels werden die Interaktionen zwischen dem Experten und dem DM komplexer, was zu fortgeschrittenen Strategien führt, die Lernen, Kooperation und sogar Bestrafung beinhalten können. Auffällig ist, dass wir das vereinfachte Nachrichtenformat des theoretischen Modells durch echte Textdaten ersetzt haben.

Um unsere Aufgabe zur Vorhersage menschlicher Entscheidungen zu definieren, nutzten wir Daten, die aus früheren Studien gesammelt wurden. Unser Ziel war es, menschliche Entscheidungen genau vorherzusagen, ohne irgendwelche menschlich erzeugten Daten in unser Training einzubeziehen. Stattdessen konzentrierten wir uns ausschliesslich auf LLM-generierte Daten.

Unsere Experimente ergaben, dass ein Vorhersagemodell, das auf einem Datensatz trainiert wurde, der von LLM-Spielern erstellt wurde, menschliche Entscheidungen genau vorhersagen konnte. Tatsächlich konnte es bessere Ergebnisse erzielen als Modelle, die mit tatsächlichen menschlichen Daten trainiert wurden, wenn genügend Proben vorhanden waren. In vielen realen Situationen ist es einfacher, einen grossen Datensatz von LLMs zu erstellen, als auch nur eine kleine Menge an menschlichen Wahl-Daten zu sammeln.

Darüber hinaus entdeckten wir, dass wenn der Experte unabhängig von der tatsächlichen Qualität des Hotels immer die beste Bewertung abgibt, die Vorhersagegenauigkeit unseres Modells über alle Proben hinweg steigt. Diese einfache Expertenstrategie hat sich in ähnlichen Setups mit menschlichen Entscheidungsträgern als wirksam erwiesen.

Wir fanden auch heraus, dass die Verwendung verschiedener Personas für LLM-Spieler die benötigte Stichprobengrösse zur Erreichung eines bestimmten Genauigkeitsniveaus reduziert. Wir analysierten den Beitrag jedes Persona-Typs zur Qualität des Datensatzes und fanden heraus, dass jeder Persona-Typ eine signifikante Rolle spielte.

#Verwandte Arbeiten

Überzeugungsspiele sind ein zentrales Element der Wirtschaftstheorie und haben verschiedene Anwendungen im maschinellen Lernen. Wir schauten uns spezifisch ein sprachbasiertes Überzeugungsspiel an, ein wiederholtes Zwei-Stufen-Spiel, bei dem der Sender zuerst kommuniziert, gefolgt vom Empfänger. Die wiederholte Natur des Spiels und der Ruf des Senders beeinflussen die Dynamik der Überzeugung erheblich.

Neueste Forschungen haben untersucht, wie LLMs menschliches Verhalten in verschiedenen Kontexten nachahmen können. Einige haben erkundet, ob LLMs menschliche Probanden in sozialen und verhaltenswissenschaftlichen Studien ersetzen können, wobei Vorsicht hinsichtlich ihrer aktuellen Einschränkungen geboten ist. Andere Arbeiten haben die Fähigkeiten von LLMs gezeigt, komplexe Probleme zu lösen, kreative Aufgaben zu bewältigen und menschenähnliche Antworten in unterschiedlichen Gruppen zu geben. Jüngste Studien haben LLMs auch im Kontext klassischer Verhaltensökonomie-Experimente bewertet.

Neben der Simulation menschlichen Verhaltens sind LLMs als potenzielle Entscheidungsträger in wirtschaftlichen Setups aufgetaucht. Das markiert einen Wandel von älteren Methoden, die Algorithmen ohne Sprachfähigkeit zur Lösung komplexer Spiele verwendeten.

LLMs können maschinelles Lernen auf verschiedene Weisen verbessern. Frühere Studien haben gezeigt, dass LLMs menschliche Annotatoren und Evaluatoren ersetzen können. Bei der Generierung von Daten für das maschinelle Lernen wurden LLM-generierte Daten verwendet, um die Leistung in Aufgaben wie der Dokumentenbewertung zu verbessern. Unser Fokus liegt jedoch auf der Verwendung von LLM-generierten Daten in strategischen Vorhersagen menschlicher Entscheidungen.

#Aufgabenbeschreibung

Um unsere Aufgabe zur Vorhersage menschlicher Entscheidungen zu erklären, schauen wir uns zuerst das sprachbasierte Überzeugungsspiel an, das wir verwendet haben. Das Spiel beinhaltet zwei Spieler: einen Experten (der Nachrichten sendet) und einen Entscheidungsträger (der Nachrichten erhält) über mehrere Runden. Zu Beginn jeder Runde erhält der Experte Paare von Hotelbewertungen und -bewertungen. Die Hotelqualität wird durch die durchschnittliche Bewertung dieser Bewertungen bestimmt. Der Experte wählt dann eine Bewertung aus, um sie dem DM zu senden. Der DM entscheidet, ob er das Hotel buchen möchte oder nicht, nachdem er die Nachricht des Experten erhalten hat.

Beide Spieler zielen darauf ab, ihre Ergebnisse zu maximieren. Die Strategie des DM basiert auf allen möglichen Nachrichten und der Geschichte, während die Strategie des Experten auf seinem Wissen über die Bewertungen und vorherige Interaktionen basiert.

#Datensammlung

Für unsere Studie nutzten wir Daten, die aus Interaktionen zwischen menschlichen DMs und Experten über eine mobile App gesammelt wurden. Der Datensatz umfasste eine beträchtliche Anzahl von Entscheidungen, die von verschiedenen menschlichen Spielern getroffen wurden. Wir konzentrierten uns auf diejenigen, die alle Spielphasen abgeschlossen hatten.

Um den LLM-Datensatz zu erstellen, replizierten wir den Datensammlungsprozess der vorherigen Studie unter Verwendung von LLMs anstelle von Menschen. Wir behielten die gleichen Experten, Hotels und Spielparameter bei. Jeder LLM-Spieler interagierte mehrfach mit den Experten, wobei ähnliche Aufforderungen wie die menschlichen Spieler verwendet wurden.

Um eine Vielzahl von Antworten sicherzustellen, wiesen wir jedem LLM-Spieler verschiedene Personas zu. Jede Persona bot einen unterschiedlichen Ansatz zur Entscheidungsfindung, was es uns ermöglichte, einen breiteren Datensatz zu sammeln. Wir generierten eine grosse Anzahl von Entscheidungen, wobei ein kleinerer Satz auf jede spezifische Persona konzentriert war.

#Effektivität von LLM-generierten Daten

In diesem Abschnitt zeigen wir, wie effektiv unser Ansatz ist. Wir verglichen die Leistung eines Vorhersagemodells, das mit menschlich generierten Daten trainiert wurde, mit einem, das mit LLM-generierten Daten trainiert wurde. Wir schlossen auch eine Basismethode ein, die ausschliesslich auf sprachlichen Fähigkeiten ohne wirtschaftliches Verständnis basierte.

Wir stellten fest, dass Vorhersagemodelle, die LLM-generierte Daten verwenden, die mit menschlichen Daten vergleichbaren, solange eine ausreichende Stichprobengrösse gegeben ist, übertreffen. Zudem schnitten Modelle, die mit LLM-Daten trainiert wurden, besser ab als die Basislinie, was beweist, dass die Einbeziehung simulierter Interaktionen zu besseren Vorhersagen führt.

Interessanterweise deuteten unsere Ergebnisse darauf hin, dass, während Basismethoden in manchen Aspekten menschenähnlichem Verhalten näher schienen, sie kein effektives Dataset für die Vorhersage menschlicher Entscheidungen im Vergleich zum LLM-generierten Datensatz darstellten. Dies zeigt, dass selbst wenn das sprachliche Verständnis wichtig ist, die strategischen und wirtschaftlichen Komponenten in LLM-generierten Daten die Vorhersagefähigkeiten erheblich verbessern.

#Vorhersagen gegen eine spezifische Strategie

Nachdem wir bestätigt hatten, dass unser LLM-basierter Ansatz eine hohe Vorhersagegenauigkeit erzielt, untersuchten wir die Genauigkeit der Modelle in Bezug auf jede Expertenstrategie. Wir wollten herausfinden, wie gut unser Ansatz gegen verschiedene Experten abschneidet.

Unsere Erkenntnisse zeigten, dass unser LLM-basierter Ansatz für die meisten Expertenstrategien traditionelle Modelle, die mit menschlichen Daten trainiert wurden, übertreffen konnte, wenn genügend Datenpunkte verfügbar waren. Es gab jedoch spezifische Strategien, in denen unser Ansatz hinterherhing. Dennoch fanden wir konsequent, dass das Training mit LLM-Daten dem Training mit einer sprachlichen einzigen Basis überlegen war.

#Die SendBest-Strategie

Eine Expertenstrategie, die wir analysierten, war SendBest, bei der der Experte immer die bestmögliche Bewertung abgibt, unabhängig von der tatsächlichen Hotelqualität. Diese Strategie ist relevant, weil sie typisches Verhalten weniger anspruchsvoller Agenten nachahmt, die versuchen, Nutzer zu überzeugen. Interessanterweise konnte unser Ansatz menschlich generierte Trainingsdaten bei der Vorhersage von Antworten gegen SendBest über alle Stichprobengrössen hinweg übertreffen.

#Die SendBestOrMean-Strategie

Wir bewerteten auch die SendBestOrMean-Strategie, bei der der Experte die beste Bewertung wählt, wenn das Hotel gut ist, oder eine Bewertung nahe der Durchschnittsbewertung abgibt, wenn nicht. In diesem Fall hatte unser Modell Schwierigkeiten, menschliche Entscheidungen genau vorherzusagen im Vergleich zu menschlich generierten Daten, insbesondere bei kleineren Datensätzen.

#Die Rolle der Persona-Diversifizierung

Wir hoben hervor, dass die Verwendung verschiedener Personas beim Training von LLM-Modellen die benötigte Stichprobengrösse zur Erreichung bestimmter Genauigkeitslevel reduzierte. Durch die Untersuchung der Beiträge der verschiedenen Personas zur Gesamtqualität des Modells fanden wir heraus, dass ihre Auswirkungen nahezu gleichmässig zur Verbesserung des Datensatzwerts beitrugen.

#Fazit

Diese Studie bietet erste Einblicke in das Potenzial der Verwendung von LLM-generierten Daten zur Ausbildung von Modellen zur Vorhersage menschlicher Entscheidungen. Unsere Ergebnisse legen nahe, dass Daten, die ohne menschlichen Input erzeugt wurden, unter bestimmten Bedingungen sogar bessere Ergebnisse liefern können als traditionelle Methoden. Es bestehen jedoch weiterhin Einschränkungen, und wir stellen fest, dass der LLM-basierte Ansatz gegen sprachlich-only Methoden überlegen ist, aber nicht immer gegen menschlich generierte Daten.

Mit Blick auf die Zukunft könnten weitere Forschungen die Anwendungen von LLM-generierten Daten über Überzeugungsspiele hinaus ausdehnen. Die Kombination von menschlichen und synthetischen Daten könnte ebenfalls die Vorhersagen in strategischen menschlichen Entscheidungen verbessern. Das Verständnis der Einschränkungen von LLM-generierten Daten in bestimmten Kontexten wird auch entscheidend sein, um das Feld der Vorhersage menschlicher Entscheidungen in der Ökonomie voranzutreiben.