イベント予測における言語モデルの評価

ディープラーニングの進歩により、大きなモデルが画像分類やテストの受験など多くのタスクでより良い結果を出せるようになったんだ。これらのモデルはスキルを向上させてるけど、未来の出来事を予測するのにはまだ課題がある。この研究は、これらの大規模言語モデル（LLM）が結果を予測できるかどうか、そして人間の予測とどれくらい比較できるのかを探ってるんだ。

#予測の重要性

歴史を通じて、人間は過去の情報を使って未来に何が起こるかを予測しようとしてきた。政治や天気予報など、多くの職業は未来の出来事を正確に予測することに依存してる。でも、これらの予測の正確さを判断するのは簡単じゃないことが多い。予測が曖昧なことが多くて、誰が正しかったか測るのが難しいんだ。

例えば、政治アナリストが候補者が「勝てるかもしれない」と言ったとしたら、候補者が成功すれば正しいと主張できるし、失敗しても「不確かだった」と言えば正しいと主張できる。このあいまいさが予測の評価を複雑にしてるんだ。

この課題に対応するために、いくつかの研究が人々が制御された状況で予測を行うときのパフォーマンスを調べてきた。ある研究では、さまざまな予測者が特定の出来事について予測を行い、その正確さを測定し、どの戦略がより良い予測につながるかを特定したんだ。

#言語モデルと予測タスク

この研究では、LLMが人間並みに、あるいはそれ以上に予測できるかどうかを探るんだ。実際の出来事とそれに関する人間の予測からなる新しいデータセットを作成して、さまざまな方法でLLMの予測能力を評価し、その結果を人間の予測と比較したよ。

私たちの研究では、いくつかのLLM予測方法がかなり良く機能する一方で、しばしば人間の予測には及ばないことが分かった。これらのモデルが時々苦労する理由を理解し、予測能力を改善する方法を提案したいんだ。

#人間の予測に関する以前の研究

人間の予測を研究するアイデアは、予測トーナメントでの人々のパフォーマンスを調査する研究から始まった。このトーナメントでは、さまざまな出来事を集めて参加者にその可能性を予測させるんだ。彼らは予測が実際の結果にどれだけ近いかに基づいてスコアが付けられる。

いくつかの研究者は、特定の個人が他の人よりも一貫してより正確な予測をしていることを発見した。彼らは、より良い予測と相関する戦略を特定し、それを私たちのLLMベースの予測者用のプロンプト開発のインスピレーションにしたんだ。

#時系列データと予測

LLMが使われる一つの分野は時系列データで、過去のデータポイントに基づいて未来の値を予測するんだ。この文脈では、LLMは情報のシーケンスを分析して、単一の出来事を予測するのではなく、継続的に予測を行うよ。

時系列予測は、交通や売上のトレンドを予測するなど、さまざまな実用的な問題に適用されてきた。以前の研究では、LLMが特定のタスクにモデルをファインチューニングすることで、時系列データでうまく機能することが示されている。

#現実世界のイベント予測の自動化

時系列予測に加えて、研究者たちは単一の現実世界の出来事に対する予測の自動化を見始めた。研究によれば、LLMは複数のモデルからの予測を平均したり、歴史データに基づいてファインチューニングすることで、時々人間のパフォーマンスを上回ることができるみたいだ。

私たちの研究は、既に検証された戦略をLLMのプロンプトに使用することで、この以前の研究を基にしてる。これらの戦略がベースラインモデルと比較してLLMのパフォーマンスを改善するかを見たかったんだ。

#データセット構築の課題

予測パフォーマンスを評価するためのデータセットを作成するのは特有の課題があるんだ。LLMを評価するために使用されるタスクのほとんどは静的データセットを持つ。一方で、予測タスクは、モデルがその結果に関する情報を持っていないことを確認しながら、すでに発生した出来事に基づいて評価しなきゃいけない。

たとえば、過去の選挙で誰が勝つかをモデルに聞くのは、その予測力を測ることにはならない。モデルが訓練データの終了後に起こった出来事で評価されることが重要なんだ。

また、良い予測をするために必要な情報は時間とともに変わる可能性がある。ある週には予測が難しいことが、次の週には新しい展開によって明確になることもある。これは、公平な評価を得るために、モデルのパフォーマンスを同じ時点での人間の正確さと比較することが必要なんだ。

#GleanGen予測市場データの使用

この課題に対処するために、私たちはGleanGen予測市場を使ったんだ。ここではユーザーが未来の出来事の可能性について投機するんだ。このプラットフォームには数百人の参加者がいて、明確に定義された出来事に基づいて確率を取引している。

データセットは、出来事の詳細、参加者の予測、そしてその出来事の最終結果から構成されてる。各出来事には特定の基準、締切、そして最終的に真か偽かを示す解決日があるんだ。

#データセット内の出来事の分析

私たちは分析を4つの主要カテゴリに焦点を当てた：Covid-19、財務、技術産業、その他。それから、Google内部の出来事を除外して公平な条件を確保した結果、700以上の人間の予測を含む最終データセットができたんだ。

これらの出来事に対する予測はさまざまな解決とカテゴリにまたがっている。ほとんどの出来事は否定的に解決され、多くの予測の条件が満たされなかったことを示しているんだ。

#Brierスコアによるパフォーマンス評価

モデルの予測パフォーマンスを測定するために、Brierスコアという統計ツールを使ったんだ。これは、予測された可能性と実際の結果に基づいて予測の正確さを評価するんだ。このスコアは、完全な予測が0、完全に間違った予測が1という範囲だよ。

さらに、私たちはデータセット内の正と負の出来事の不均一な分布を考慮するために加重Brierスコアを導入した。この方法は、モデルのパフォーマンスをより詳細に評価できるようにしてるんだ。

#使用された予測戦略

私たちは人間の予測者を助けることが知られているいくつかの戦略を使用した、例えば：

• 出来事の分解: この戦術は、複雑な出来事を小さく、予測しやすいサブイベントに分けることを含むんだ。
• ベースレートの使用: この戦略は、関連する出来事の基準を確立するために歴史データを見ることだよ。
• 両側を考慮する: この方法は、出来事が起こる可能性を支持したり挑戦したりする要因を調べるんだ。
• クラウドソーシング: 複数のLLMモデルからの予測を平均することで、さまざまなペルソナの集団の知恵を活用する手法だよ。
• 外部ニュースの活用: 現在のニュースのヘッドラインを予測に統合して、モデルが作業するための追加の文脈を与えるんだ。

#モデルとパフォーマンスの比較

私たちはLLM予測モデルを人間の予測やベースラインと比較した。結果は驚くべきものがあった。最もシンプルなモデルは、基本的なプロンプトだけで予測を行うもので、時々人間の予測者よりも良いパフォーマンスを示したんだ。

この結果は、より洗練された予測のために追加された複雑さがパフォーマンスを妨げてしまっている可能性があることを示唆している。また、基本モデルの高い正確さは、特に私たちのデータセットのほとんどのイベントが否定的に解決されたため、低い確率を予測するバイアスがあることを示しているかもしれない。

#パフォーマンスバイアスの分析

モデルのパフォーマンスをさらに探るために、さまざまな要因が予測にどのように影響するかを調べたんだ。特に注目すべき観察は、基本モデルが多くのイベントに対して低い確率の推定を出す傾向があることだった。この仮説を支えるために、いくつかの分析を行ったんだ。

単に答えを提供するモデルと理由を含むモデルのパフォーマンスを比較することで、理由を求めることで予測確率が増加する傾向があることがわかった。これは、モデルに予測についてより深く考えるように促すと、より高いが正確さが低い推定につながることを意味しているかもしれない。

#反転された予測の評価

私たちは別の実験を行い、出来事を反転させて、モデルの元の出来事の予測と反転したシナリオの予測を比較できるようにしたんだ。結果は、元の出来事の予測が期待よりもはるかに低いことが示され、低確率の推定にバイアスがかかっていることを示しているんだ。

#研究からの結論

全体として、私たちの研究では、LLMが予測タスクで潜在能力を示す一方で、人間の予測者と比較するとまだ限界があることが結論づけられた。基本モデルの成功は、モデルのバイアスやデータ分布が予測にどのように影響するかについてのさらなる研究の必要性を強調した。

また、加重Brierスコアの導入は、モデルのパフォーマンスについて見落とされがちな洞察を明らかにするのに役立ったことがわかった。

今後の研究は、人間の戦略とLLMを組み合わせること、ヒューマンフォーキャスターと知的モデルの協力を強化すること、そして実証済みの予測技術をLLMアプリケーションに翻訳する新しい方法を探ることに焦点を当てるべきだと思う。

#LLM研究の今後の方向性

この研究は、LLMが未来の出来事を予測する能力についての議論に貢献しているんだ。これらのモデルが人間の予測とどのように比較され、どの要因がパフォーマンスに影響を与えるかを理解することで、今後より信頼性のある予測を行えるようにLLMを装備できるんだ。

私たちの発見は、モデルを精緻化し、データ選択を最適化し、人間の専門知識とモデル主導の予測を効果的にブレンドする方法を見つけることのさらなる探求を促しているんだ。