運転支援システムの幻覚に対処する

高度な運転支援システム（ADAS）は、運転をより安全にするための技術だよ。アダプティブクルーズコントロールや後方衝突警告みたいな機能が、多くの車で一般的になってきてる。これらのシステムは、移動をもっと簡単で快適にしてくれるんだ。最近、研究者たちは、大きな言語モデル（LLM）を使って、車の中でテキスト、画像、音を理解できる技術を調べてる。これらのLLMは、車が乗客とどのようにやり取りするかを改善できるかもしれない。ただ、重大な問題があって、時々、これらのモデルは現実と合わない情報を生成しちゃうことがあるんだ。それを「幻覚」と呼んでいるよ。

#幻覚の問題

幻覚っていうのは、モデルが現実と合わない情報を生成すること。例えば、LLMが映像のフレームに歩行者がいるって言ったけど、実際にはいない場合のことだね。これは、運転システムにとっては深刻な問題で、安全が重要な場面では特に危険だよ。もしこれらのシステムが信頼できない形で歩行者や他の障害物を検出できなかったら、事故につながる可能性がある。だから、これらの幻覚を識別して減らす方法を見つけることが大事なんだ。

#研究の目的

この研究の目的は、LLMを使って街の環境で歩行者を特定する時に、どれくらいの方法が幻覚を検出できるかを確認することだよ。それに加えて、次のことも探求してる：

1. 幻覚を検出するための利用可能な方法は何か？
2. LLMを使った歩行者検出の際、幻覚をどう説明できるか？
3. 運転システムにおける幻覚の検出をどう改善できるか？

#主要な貢献

この研究では、ADASにおけるLLMを使った幻覚を見つけるためのさまざまな方法を提示してる。特に歩行者検出のタスクに焦点を当てていて、最近の研究からの現在の戦略の評価や、それに対する我々の改善を提供してる。アメリカとスウェーデンの都市環境から収集した2つの異なる画像セットの歩行者データを使って、主なLLMであるGPT-4VとLLaVAをテストしたよ。

幻覚の検出は、LLMが車両で安全に関わる機能に信頼されるための第一歩に過ぎない。幻覚をカテゴライズすることで、信頼性とパフォーマンスの向上を目指してるんだ。

#レポートの構成

このレポートは次のように構成されてる：

• 最初のセクションでは、幻覚検出に関する関連研究を話す。
• 次のセクションでは、我々の研究で使った方法について説明する。
• その後、実験の結果を示す。
• その後、我々が見つけたことの分析と議論を提供する。
• 最後に、結論と今後の研究への提案をする。

#関連研究

LLMを信頼できるものにするためには、幻覚を減らすことが重要だ。特に安全が重要なアプリケーションではその重要性が増すんだね。以前の研究では、運転に関連した視覚タスクにLLMを使うことが検討されてる。例えば、最近の取り組みでは、視覚と言語モデルの力を組み合わせて、車両が周囲を認識する仕方を改善しようとしている。

モデルが偽の情報を生成する時の検出方法は色々ある。一つの方法はSelfCheckGPTって言って、サンプリング手法を使ってモデルの応答の一貫性を確認するもの。もう一つはDreamCatcherって名付けられたもので、複数の応答を見て不一致を見つける。これらの方法は、車両技術のアプリケーションに適応できるかもしれなくて、認識タスクを向上させる手助けになるんだ。

最近のいくつかの研究では、LLMを評価するためのベンチマークやフレームワークが導入されている。例えば、MHaluBenchとUNIHDは、幻覚を制御しながらマルチモーダルLLMの出力を評価するためのギャップを埋めることを目指している。ただ、運転の文脈では、より専門的な評価ベンチマークがまだ必要なんだ。

#方法論

異なる幻覚検出方法のパフォーマンスを評価するために、歩行者データを使って実験を設計したよ。最初のデータセットであるWaymoは、アメリカの都市と郊外からの画像を含んでる。2番目のデータセットであるPREPER CITYは、スウェーデンのヨーテボリからの画像を含んでる。この2つのデータセットを選んだのは、異なる地域をカバーし、場所特有の問題の影響を減らすためだよ。

#データセットの準備と整理

データセットをフィルタリングして、単一の歩行者または小グループの歩行者が映っているシナリオにだけ焦点を当てた。このアプローチは、多くの人が写っている画像からくる混乱した結果の可能性を最小限に抑えるためのもの。データセットを精査した後、Waymoから17シーン、PREPER CITYから18シーンを得たよ。

次に、画像を前景に焦点を当てるために前処理を行い、空や地平線をトリミングした。画像は、車両の位置に基づいて左、右、遠、近の4つの関心領域（RoI）に分割した。この設定は、モデルが歩行者を見つける可能性が高い画像の小さいエリアに集中できるようにして、歩行者検出を改善するのに役立ったんだ。

#実験設定

実験では、キュレーションしたデータセットの画像をLLMに提示して、歩行者の検出性能を評価した。特定のプロンプトを使用した：「この画像に人間または人間の一部はいますか？ 'はい' または 'いいえ' のみで答えてください。」このプロンプトは、各画像に対して一貫性のある応答をテストするために3回繰り返した。この方法はBest-of-Three（BO3）と呼ばれる。

全体で、実験中に2つのLLMから12,000以上の応答を記録した。このデータは、モデルが歩行者をどれだけうまく特定でき、幻覚を検出することができたかを分析するのに役立ったんだ。

#データ分析

実験の後、モデルのパフォーマンスを評価するためにデータを調べた。分析は、いくつかの重要な領域に焦点を当てた：

• パフォーマンス指標：歩行者を正確に検出するための各モデルの能力を評価するために、リコールやF1スコアなどのさまざまなパフォーマンス指標を計算した。
• 幻覚の種類：識別した幻覚をカテゴライズし、主に偽陰性（存在する歩行者を見逃すこと）と偽陽性（存在しない歩行者を特定すること）に焦点を当てた。安全プロトコル違反により、モデルが画像の処理を拒否したケースも記録したよ。
• RoIの影響：モデルのパフォーマンスをフル画像とセグメントされたRoIを使って比較した。画像を小さいセクションに分けることで、一般的に歩行者の正確な特定が可能になった。

#パフォーマンス結果

実験の結果、両方のモデルにはそれぞれの長所と短所があった。GPT-4Vは歩行者の検出においてLLaVAよりも全体的に良い結果を出した。ただ、LLaVAは一貫性に欠け、同じ入力に対して異なる応答を提示する頻度が高かった。

BO3方法を使用すると、混合した結果が得られた。GPT-4Vの場合、3つのテスト回答を使用するとリコールがわずかに減少したが、LLaVAの場合はスコアが向上した。特に、フル画像の代わりにRoIを使用すると、複雑なシーンでの歩行者の特定が容易になることが多かった。

#幻覚検出のための逐次データ

分析の中で、以前のフレームからの履歴情報を利用することが幻覚の検出に大いに役立つことがわかった。例えば、以前のフレームに歩行者がいた場合、現在のフレームで「歩行者はいない」とモデルが誤って言う可能性が大幅に低くなることがわかったんだ。

過去のデータに基づいた2つの新しい技術を開発した：THV（Two Historical Votes）とTHV-2。両方の方法は、歩行者の検出時にコンテキストの重要性を強調している。これらのアプローチは、特に偽陰性を減らす点で、両方のLLMのパフォーマンスを改善することができた。

#物理的妥当性チェック

検出をさらに改善するために、物理的妥当性チェックを導入した。この方法では、複数のフレームにわたって検出された歩行者の軌跡を比較する必要があった。検出された歩行者がフレーム間で一貫して見えているかを評価することで、潜在的な幻覚を排除できることを目指したんだ。

この方法を使用した初期の実験は有望な結果を示し、96.43%の高いリコールを達成した。このアプローチは、逐次データが readily availableな運転環境での使用に特に適しているようだ。

#発見の議論

我々の発見は、ADASシステム内で信頼できる幻覚検出戦略が必要であることを強調してる。歩行者を正確に特定する能力は、重要な安全問題だ。我々の結果は、GPT-4VとLLaVAの両方が画像をうまく説明できるが、歩行者の存在を確認するという単純なタスクには苦戦していることを示している。

提案した方法、例えばRoIを利用すること、歴史的投票を活用すること、物理的妥当性チェックを組み込むことは、検出の信頼性を向上させる可能性がある。ただ、LLaVAの一貫性の問題は、実際の運転シナリオでの適用性に制限を加えるかもしれない。

#結論

この研究は、自動車アプリケーションにおけるLLM使用時に幻覚を信頼できる方法で検出することの重要性を示している。我々がテストした方法は、特に歩行者検出において幻覚を減らすための貴重な洞察を提供した。このことはADASの安全にとって重要だ。

今後の研究は、これらの技術の洗練や、リアルタイム運転環境で効果的に機能する新しいモデルの探求に焦点を当てるべきだね。LLM技術が進展し続ける中、これらのシステムを車両に統合する新たな機会が増えていくかもしれない。

要するに、車両内でLLMを統合することで、乗客の快適さや安全性を向上させることができるけど、信頼性を確保することが重要なんだ。幻覚の問題に対処することが、よりインテリジェントな車両の未来に向けて重要になるだろう。