Bewertung von Sprachmodellen in der Ereignisvorhersage

Fortschritte im Deep Learning haben es grossen Modellen ermöglicht, bei vielen Aufgaben besser zu werden, wie zum Beispiel beim Klassifizieren von Bildern und beim Ablegen von Prüfungen. Diese Modelle werden immer geschickter, haben aber immer noch Schwierigkeiten, wenn es darum geht, zukünftige Ereignisse vorherzusagen. Diese Forschung untersucht, wie diese grossen Sprachmodelle (LLMs) Ergebnisse vorhersagen können und vergleicht ihre Vorhersagen mit denen von Menschen.

#Die Wichtigkeit von Vorhersagen

Im Laufe der Geschichte haben Menschen versucht, vergangene Informationen zu nutzen, um vorherzusagen, was in der Zukunft passieren wird. Viele Berufe, wie Politik und Wettervorhersagen, hängen davon ab, zukünftige Ereignisse genau vorherzusagen. Allerdings ist es nicht immer einfach, die Genauigkeit dieser Vorhersagen zu beurteilen. Oft sind Vorhersagen vage, was es schwierig macht zu messen, wer richtig lag.

Zum Beispiel, wenn ein politischer Analyst sagt, ein Kandidat "könnte gewinnen", kann er behaupten, richtig zu liegen, wenn der Kandidat Erfolg hat. Umgekehrt, wenn der Kandidat scheitert, kann der Analyst immer noch behaupten, richtig zu liegen, indem er sagt, er sei sich nicht sicher gewesen. Diese Mehrdeutigkeit erschwert die Bewertung von Vorhersagen.

Um diese Herausforderungen anzugehen, haben einige Studien untersucht, wie Menschen in kontrollierten Umgebungen beim Treffen von Vorhersagen abschneiden. Eine solche Studie richtete ein Turnier ein, bei dem verschiedene Vorhersager Vorhersagen zu bestimmten Ereignissen machten, deren Genauigkeit gemessen wurde und welche Strategien zu besseren Vorhersagen führten.

#Sprachmodelle und Vorhersageaufgaben

Diese Studie untersucht, ob LLMs Vorhersagen genauso gut oder besser treffen können als Menschen. Wir haben einen neuen Datensatz mit realen Ereignissen und Vorhersagen von Menschen zu diesen Ereignissen erstellt. Dann haben wir verschiedene Methoden verwendet, um die Vorhersagefähigkeit von LLMs zu bewerten und ihre Ergebnisse mit denen menschlicher Vorhersager zu vergleichen.

Unsere Forschung zeigt, dass einige LLM-Vorhersagemethoden zwar ziemlich gut abschneiden, sie oft jedoch die menschlichen Vorhersagen nicht übertreffen. Wir wollen verstehen, warum diese Modelle manchmal Schwierigkeiten haben und Vorschläge machen, um ihre Vorhersagefähigkeiten zu verbessern.

#Frühere Forschung zur menschlichen Vorhersage

Die Idee, menschliche Vorhersagen zu studieren, begann mit Forschungen, die untersuchten, wie Menschen in Vorhersageturnieren abschneiden. Diese Turniere sammeln eine Vielzahl von Ereignissen und bitten die Teilnehmer, deren Wahrscheinlichkeit vorherzusagen. Sie werden bewertet, basierend darauf, wie nah ihre Vorhersagen an den tatsächlichen Ergebnissen waren.

Einige Forscher fanden heraus, dass bestimmte Personen konstant genauere Vorhersagen machten als andere. Sie identifizierten Strategien, die scheinbar mit besseren Vorhersagen korrelierten, die wir als Inspiration für die Entwicklung von Eingaben für unsere LLM-basierten Vorhersager verwendeten.

#Zeitreihendaten und Vorhersagen

Ein Bereich, in dem LLMs verwendet wurden, sind Zeitreihendaten, bei denen sie zukünftige Werte basierend auf vergangenen Datenpunkten vorhersagen. In diesem Kontext analysieren LLMs eine Informationsreihe und machen fortlaufende Vorhersagen, anstatt ein einzelnes Ereignis vorherzusagen.

Zeitreihenvorhersagen wurden auf verschiedene praktische Probleme angewandt, wie zum Beispiel das Vorhersagen von Verkehrs- oder Verkaufstrends. Frühere Studien haben gezeigt, dass LLMs gut mit Zeitreihendaten umgehen können, indem sie Techniken wie das Feinabstimmen von Modellen für spezifische Aufgaben nutzen.

#Automatisierung von Vorhersagen zu realen Ereignissen

Neben Zeitreihenvorhersagen haben Forscher begonnen, zu untersuchen, wie man Vorhersagen für einzelne reale Ereignisse automatisieren kann. Studien haben gezeigt, dass LLMs manchmal die menschliche Leistung erreichen oder übertreffen können, indem sie Vorhersagen mehrerer Modelle mitteln oder sie basierend auf historischen Daten feinjustieren.

Unsere Studie baut auf dieser früheren Arbeit auf, indem wir gut getestete Strategien in unseren LLM-Eingaben verwenden. Wir möchten sehen, ob diese Strategien die Leistung der LLMs im Vergleich zu Basismodellen verbessern.

#Herausforderungen beim Erstellen des Datensatzes

Die Erstellung eines Datensatzes zur Bewertung der Vorhersageleistung bringt einzigartige Herausforderungen mit sich. Die meisten Aufgaben, die zur Bewertung von LLMs verwendet werden, haben typischerweise statische Datensätze. Im Gegensatz dazu muss die Vorhersageaufgabe Modelle anhand von Ereignissen bewerten, die bereits eingetreten sind, wobei sichergestellt werden muss, dass das Modell nicht mit Informationen über diese Ergebnisse trainiert wurde.

Zum Beispiel misst die Frage an ein Modell, wer eine vergangene Wahl gewinnen wird, nicht seine Vorhersagekraft. Es ist entscheidend, Modelle bei Ereignissen zu bewerten, die nach dem Ende ihrer Trainingsdaten passiert sind.

Darüber hinaus können sich die Informationen, die notwendig sind, um gute Vorhersagen zu machen, im Laufe der Zeit ändern. Was in einer Woche schwierig vorherzusagen scheint, kann in der nächsten Woche klarer werden, aufgrund neuer Entwicklungen. Daher ist es wichtig, die Leistung des Modells zu einem bestimmten Zeitpunkt mit der menschlichen Genauigkeit zu vergleichen, um eine faire Bewertung zu erhalten.

#Verwendung von GleanGen-Vorhersagemarkt-Daten

Um diese Herausforderungen anzugehen, haben wir den GleanGen-Vorhersagemarkt verwendet, wo Nutzer über die Wahrscheinlichkeit zukünftiger Ereignisse spekulieren. Die Plattform umfasst Hunderte von Teilnehmern, die Wahrscheinlichkeiten basierend auf klar definierten Ereignissen handeln.

Der Datensatz besteht aus Einzelheiten zu den Ereignissen, den Vorhersagen der Teilnehmer und den endgültigen Ergebnissen dieser Ereignisse. Jedes Ereignis hat spezifische Kriterien, eine Frist und ein Lösungsdatum, das angibt, ob es letztendlich wahr oder falsch war.

#Analyse der Ereignisse im Datensatz

Wir haben unsere Analyse auf vier Hauptkategorien fokussiert: Covid-19, Finanzen, Technologieindustrie und Sonstiges. Wir haben Ereignisse, die intern bei Google stattfanden, herausgefiltert, um ein faires Spielfeld zu gewährleisten, was zu einem endgültigen Datensatz führte, der über 700 Ereignisse mit menschlichen Vorhersagen umfasste.

Die Vorhersagen für diese Ereignisse decken verschiedene Auflösungen und Kategorien ab. Die meisten Ereignisse endeten negativ, was darauf hinweist, dass die Bedingungen für viele Vorhersagen nicht erfüllt wurden.

#Bewertung der Leistung mit dem Brier-Score

Um die Vorhersageleistung der Modelle zu messen, haben wir den Brier-Score verwendet, ein statistisches Werkzeug, das die Genauigkeit von Vorhersagen basierend auf der vorhergesagten Wahrscheinlichkeit und dem tatsächlichen Ergebnis bewertet. Dieser Score reicht von 0 für eine perfekte Vorhersage bis 1 für eine völlig falsche Vorhersage.

Wir haben auch einen gewichteten Brier-Score eingeführt, um der ungleichmässigen Verteilung von positiven und negativen Ereignissen in unserem Datensatz Rechnung zu tragen. Diese Methode ermöglicht eine nuanciertere Bewertung der Modellleistung.

#Verwendete Vorhersagestrategien

Wir haben mehrere Strategien eingesetzt, die menschlichen Vorhersagern helfen, darunter:

• Ereignisse aufschlüsseln: Diese Taktik beinhaltet das Aufteilen komplexer Ereignisse in kleinere, leichter vorherzusagende Teilereignisse.
• Basisraten nutzen: Diese Strategie schaut sich historische Daten an, um eine Basislinie für verwandte Ereignisse festzulegen.
• Beide Seiten berücksichtigen: Diese Methode untersucht Faktoren, die die Wahrscheinlichkeit eines Ereignisses unterstützen oder herausfordern könnten.
• Crowd Sourcing: Durch das Mitteln von Vorhersagen aus mehreren LLM-Modellen nutzt dieser Ansatz die kollektive Weisheit verschiedener Personas.
• Externe Nachrichten nutzen: Hier integrieren wir aktuelle Nachrichtenüberschriften in die Vorhersagen und geben dem Modell zusätzlichen Kontext.

#Vergleich von Modellen und Leistung

Wir haben unsere LLM-Vorhersagemodelle mit menschlichen Vorhersagen und festgelegten Baselines verglichen. Die Ergebnisse zeigten einige überraschende Ergebnisse. Das einfachste Modell, das nur einen grundlegenden Prompt benötigte, um Vorhersagen zu machen, schnitt manchmal besser ab als menschliche Vorhersager.

Dieses Ergebnis deutet darauf hin, dass einige Komplexitäten, die für ausgeklügeltere Vorhersagen hinzugefügt wurden, die Leistung möglicherweise behindert haben, anstatt sie zu verbessern. Darüber hinaus deutete die hohe Genauigkeit des Grundmodells auf eine mögliche Verzerrung hin, niedrigere Wahrscheinlichkeiten vorherzusagen, insbesondere da die meisten Ereignisse in unserem Datensatz negativ endeten.

#Analyse der Leistungsabweichungen

Um die Modellleistung weiter zu erkunden, haben wir untersucht, wie verschiedene Faktoren die Vorhersagen beeinflussen. Eine bemerkenswerte Beobachtung war, dass das Basis-Modell eine Tendenz hatte, für viele Ereignisse niedrige Wahrscheinlichkeitsabschätzungen abzugeben. Wir entwickelten eine Reihe von Analysen zur Untermauerung dieser Hypothese.

Durch den Vergleich der Leistung von Modellen, die einfach Antworten abgaben, mit denen, die Begründungen einbezogen, fanden wir heraus, dass die Anforderung von rationalen Gründen dazu tendierte, die vorhergesagten Wahrscheinlichkeiten zu erhöhen. Dies deutet darauf hin, dass das Anregen von Modellen, tiefer über ihre Vorhersagen nachzudenken, oft zu höheren, aber weniger genauen Schätzungen führt.

#Bewertung der umgekehrten Vorhersagen

Wir führten ein weiteres Experiment durch, indem wir die Ereignisse umkehrten, sodass wir die Vorhersagen des Modells für die ursprünglichen Ereignisse mit denen der umgekehrten Szenarien vergleichen konnten. Die Ergebnisse zeigten ein konsistentes Muster, bei dem die Vorhersagen für die ursprünglichen Ereignisse viel niedriger waren als erwartet, was auf eine Verzerrung hin zu niedrigen Wahrscheinlichkeitsabschätzungen hinweist.

#Schlussfolgerungen aus der Forschung

Insgesamt kam unsere Studie zu dem Schluss, dass obwohl LLMs Potenzial in Vorhersageaufgaben zeigen, sie immer noch Einschränkungen im Vergleich zu menschlichen Vorhersagern haben. Der Erfolg des Basis-Modells hob die Notwendigkeit für weitere Forschungen hervor, wie Modellverzerrungen und Datenverteilungen Vorhersagen beeinflussen können.

Darüber hinaus erwies sich die Einführung des gewichteten Brier-Scores als vorteilhaft, um Einblicke in die Modellleistung zu gewinnen, die sonst möglicherweise unentdeckt geblieben wären.

Zukünftige Forschungen sollten sich auf die Kombination menschlicher Strategien mit LLMs konzentrieren, die Zusammenarbeit zwischen menschlichen Vorhersagern und intelligenten Modellen verbessern und neue Methoden erforschen, um bewährte Vorhersagetechniken in LLM-Anwendungen zu übersetzen.

#Zukünftige Richtungen in der LLM-Forschung

Diese Arbeit trägt zu den laufenden Diskussionen über die Fähigkeiten von LLMs bei der Vorhersage zukünftiger Ereignisse bei. Indem wir verstehen, wie sich diese Modelle mit menschlichen Vorhersagen vergleichen und welche Faktoren ihre Leistung beeinflussen, können wir LLMs besser für zuverlässigere Vorhersagen in der Zukunft ausstatten.

Unsere Ergebnisse ermutigen zu weiteren Erkundungen darüber, wie Modelle verfeinert, die Datenauswahl optimiert und Wege gefunden werden können, menschliche Expertise effektiv mit modellgestützten Vorhersagen zu verbinden.