不確実性の推定におけるAIの自信を評価する

人工知能（AI）はかなり進化してて、特に言語や画像を理解できるモデルが注目されてるんだ。これらのモデル、つまり言語モデル（LLMs）やビジョン・ランゲージモデル（VLMs）は、人間っぽい文章を作ったり、画像を分析したりできる。でも、特に彼らの答えに対する不確実性の見積もりが信頼できるかどうかを確認することがめっちゃ大事なんだ。

この記事では、LLMsとVLMsがどれだけ自分の不確実性を正確に測れるかを評価した研究について話してる。主にGPT-4、GPT-3.5、LLaMA2、PaLM 2っていう人気モデルと言語タスクで評価して、画像タスクではGPT-4VとGemini Pro Visionを見たんだ。これをするために、日本の不確実なシーン（JUS）っていう新しいデータセットも作った。このデータセットには、物体を数えるみたいな難しい答えが必要なチャレンジングな画像が含まれてる。

研究の結果、どちらのモデルもよく過信してることが分かった。言い換えれば、彼らは間違ってる時でも自分の答えに自信を持ちすぎてた。この過信のせいで、彼らは自分の不確実性をうまく見積もれなかった。例えば、写真に何個ランプがあるかを聞かれた時、モデルは正しい数を含まない範囲で答えることが多かったんだ。

研究はまた、異なるタスクでモデルを評価した。言語モデルでは、感情分析、数学の問題、名前認識を見て、VLMsはJUSデータセットを使った画像認識タスクでテストされた。

#主要な発見

1. 高いキャリブレーションエラー: モデルは自分の不確実性をうまく見積もれず、キャリブレーションエラーが高かった。つまり、彼らの自信レベルと正しい答えの精度が一致しなかったってこと。

2. 過信: 大体の場合、LLMsとVLMsは自分の反応に過剰な自信を示した。この過信は、間違った情報を信じさせる可能性があるから問題なんだ。

3. 不十分な自信評価: 高い自信レベルのモデルはより正確だと思われがちだけど、実際には多くの予測が間違ってたんだ、モデルが自信満々だった時でも。

4. タスクによる不確実性: タスクの種類が、モデルが不確実性をどれだけ正確に見積もるかに影響を与えた。例えば、感情分析では一部のモデルが自信がなさすぎて、数学の問題では過信してた。

5. 現在のモデルの限界: GPT-4は他のモデルに比べてキャリブレーションが良かったけど、まだ問題があった。複雑なタスクについて尋ねられると、彼らは限界を理解できてないことが分かった。

#モデル性能の分析

研究は主にLLMsとVLMsの二つのモデルタイプに焦点を当てた。

#大規模言語モデル（LLMs）

LLMsはテキストを処理・生成するために設計されてる。分析では、彼らがどれだけ不確実性を見積もるかを三つのタスクで調べた：

• 感情分析: これは、文がポジティブかネガティブかを判断するタスクだった。結果として、GPT-3.5が自信を最もよくキャリブレーションしてた一方、GPT-4は精度が高いのに自信が低かった。両モデルともに少し誤キャリブレーションしてた。

• 数学の問題: このタスクでは、モデルに言葉の問題を解かせた。結果は、GPT-4を除くすべてのモデルが過剰自信を示した。これによって、彼らの高い自信が彼らの実績には一致しない状態が生まれた。

• 名前認識（NER）: このタスクでは、モデルが文の中の名前、組織、場所を特定する必要があった。GPT-3.5はこのタスクでGPT-4よりも良かったけど、両モデルとも過信の傾向があった。

#ビジョン・ランゲージモデル（VLMs）

VLMsは最近のもので、言語と画像の両方を理解することを目指してる。この研究ではJUSデータセットを使ってテストした。

• 画像認識: VLMsは画像を認識し、自分の答えに自信のレベルを提供することが求められた。結果として、GPT-4VはGemini Pro Visionより少しキャリブレーションが良かったけど、どちらのモデルも過信に苦しんでた。興味深いことに、GPT-4Vは答えを提供できない状況を認識した時、少し自己認識を示した。

#不確実性とキャリブレーション指標

モデルの性能を評価するために、研究ではネットキャリブレーションエラー（NCE）という新しい指標を導入した。この指標は、モデルの誤キャリブレーションの方向を測るのに役立ち、過信しているのか不足しているのかを示す。

研究では他の二つの指標、期待キャリブレーションエラー（ECE）と最大キャリブレーションエラー（MCE）も使ったけど、NCEほど明確には誤キャリブレーションの方向を示さなかった。結果は、モデルが異なるタスクでさまざまなレベルの誤キャリブレーションを示していて、より良い見積もり方法が必要だってことを強調してる。

#日本の不確実なシーンデータセットの評価

研究の重要な部分は、JUSデータセットの開発で、日本で撮影されたチャレンジングな画像が含まれてる。この画像は、物体のカウントや特定に関するモデルの不確実性評価をテストするために選ばれた。データセットには、モデルの限界を試すために設計された39の画像が含まれてる。

#ユーザーと社会への影響

この研究は、リアルな状況でAIモデルを使う際の重要な質問を提起してる。多くのユーザーが正確な情報のためにこれらのモデルに頼ってるから、彼らの出力の過信が誤情報につながる可能性を認識することがめっちゃ大事なんだ。

ユーザーは、特にモデルが高い自信を示すときにはAI生成の答えを信じるのに注意が必要だ。高い自信が正しい答えを意味するという期待は間違ってるって、研究の結果が示してる。この結果は、AIモデルの不確実性評価を改善するために、単にサイズや予測力を増やすだけでなく、もっと努力が必要だって示してる。

#今後の方向性

不確実性の評価を改善することは、AIの発展にとってめっちゃ重要だ。今後の研究では、LLMsやVLMsが不確実性をどれだけ見積もるかを改善するためのさまざまなアプローチを探るかもしれない。期待できる分野は、「思考の連鎖」プロンプトを使って、不確実性評価の質が改善できるかを見てみることだ。

さらに、LLaMA-2-70bのようなオープンソースのモデルは、研究者が変更を加えることを可能にして、より良い不確実性の評価につながるかもしれない。

#結論

要するに、研究はLLMsとVLMsが不確実性を評価する方法に重大な問題があることを強調してる。モデルは一般的に過信の傾向があって、実際のアプリケーションでの信頼性に懸念を抱かせてる。いくつかのモデルは他のモデルよりも良く動いてるけど、これらのAI技術が不確実性を扱う方法に明確な進展が必要だってことが分かった。これらの問題を解決しないままだと、ユーザーはAIモデルの提供する自信のレベルに誤解されることがあって、潜在的に害を与える結果につながる可能性がある。

研究者、開発者、ユーザーが協力して、AIが強力で信頼できるものになるようにすることが重要だ。AIが進化し続ける中で、その不確実性評価能力に注力することが、さまざまな分野での責任ある展開には欠かせない。