交通工学のタスクにおける視覚言語モデルの評価

最近の視覚言語モデル（VLM）の進展は、画像理解に関わるさまざまなタスクに対して期待が持てるものです。この研究では、交通工学のタスクに取り組むための高度なVLMを調査し、交通渋滞の認識や道路のひび割れの特定、バイクライダーがヘルメットを着用しているかの確認といったタスクに焦点を当てています。評価されたモデルには、一般に入手可能なオープンソースのものと、公開されていないものが含まれています。

#視覚言語モデルの重要性

VLMは、コンピュータビジョンと言語処理の能力を組み合わせています。従来、視覚タスクには畳み込みニューラルネットワーク（CNN）が使用されており、リアルタイムシナリオで高いパフォーマンスを示しています。しかし、CNNは大量のラベル付きデータと、異なるアプリケーションに応じたカスタム調整が必要です。この複雑さは、広範囲なチューニングなしでさまざまなタスクに使用できるモデルの必要性を強調しています。

#交通工学における選定タスク

この研究では、交通工学における3つの特定のタスクを調査しました：

1. 渋滞検出：高速道路の監視映像をチェックして、交通が渋滞しているかどうかを確認。
2. ひび割れの特定：道路の表面の画像を評価して、ひび割れがあるかどうかを特定。
3. ヘルメット違反検出：バイクライダーがヘルメットを着用しているかを判断。

これらのタスクは、通常のモデルのトレーニングに使用される標準データセットにはない課題を含んでいるため選ばれました。

#VLMの役割

VLMは、視覚入力を言語に結びつけるように設計されており、広範なトレーニングデータなしでもプロンプトから学ぶことができます。この特性により、モデルをより柔軟に使用することが可能です。選定されたタスクは、画像を理解し、それを交通に特有のコンテキストで言語に関連付けることに焦点を当てています。

#評価されたモデル

この研究でテストされたVLMには、以下のものが含まれます：

• CLIP：さまざまなインターネット画像とそれに対応するテキストから学習するモデル。ユーザーが指定したクラス名に基づいて画像を分類できる。
• BLIP：理解と生成のタスクの両方を扱うように設計されており、トレーニングデータの質を向上させる。
• Lava-Next：言語処理と画像理解を融合させ、視覚的な手掛かりに基づいて出力を生成するモデル。
• GPT-4o：テキスト、画像、音声を処理する新しいモデルで、さまざまなタスクに対応できるツール。

#渋滞検出タスク

渋滞検出では、モデルが画像を渋滞ありまたはなしのカテゴリーに分類する必要がありました。異なるモデル構成がさまざまなクラス名を使用してテストされ、結果はモデル間で大きく異なりました。

• CLIPは、プロンプトに使用されるクラス名によって66%から88%の精度を達成。
• BLIPは、ほとんどのケースでCLIPを上回り、特に渋滞の検出で優れた結果を示しました。
• Lava-Nextも良好な結果を出しましたが、使用されたプロンプトによってパフォーマンスが変動しました。

結果は promising でしたが、モデルはいくつかの画像を誤分類することがあり、特に低照度条件や一部の車線のみが渋滞している場合に問題がありました。

#ひび割れ検出タスク

ひび割れ検出タスクでは、画像が舗装表面のひび割れを示しているかどうかが評価されました。再び、プロンプトが結果に大きな影響を与えました。

• CLIPとBLIPは、同じクラス名が与えられたときに異なるパフォーマンスを示し、プロンプトデザインの重要性を示しました。
• Lava-Nextは、粗い表面と実際のひび割れの区別に苦労し、これはすべてのモデルに共通する問題です。

これらの課題は、モデルが画像内の特定の特徴を識別するタスクに対してより適応できる必要があることを示しています。

#ヘルメット違反検出タスク

このタスクは、バイクライダーがヘルメットを着用しているかどうかを特定することに焦点を当てています。このクラスは標準データセットに含まれていなかったため、特別な調整が必要でした。

モデルはヘルメット違反を検出するタスクに適応する必要がありました。

1. OWL-ViT：シンプルなキーワード「Helmet」と「NoHelmet」を利用。初期結果は良かったが、望ましいクラスを独立させるために後処理が必要でした。
2. Lava-NextとGPT-4oもそのパフォーマンスが評価されました。ここでは、GPT-4oが優れ、すべてのライダーがヘルメットを着用しているかをほぼ完璧に特定しました。

#結果の概要

研究では、VLMがいくつかのタスクで競争力のあるパフォーマンスを示した一方で、特定の領域では苦戦したことが分かりました：

• 精度：モデルは渋滞検出やひび割れ特定などのタスクで良好なパフォーマンスを発揮し、特に適切に設計されたプロンプトにおいて。
• ローカリゼーション：画像内のオブジェクトを正確に識別し、ローカライズする能力において著しい弱点がありました。
• 速度：従来のCNNモデルは、処理時間においてVLMを上回りました。

#結論と今後の研究

この研究は、交通工学タスクにおけるVLMの強みと弱みの両方を明らかにしました。特にプロンプトエンジニアリングやモデルのローカリゼーションにおいて改善すべき重要な領域があります。この研究は、交通や他の分野におけるVLMの応用に関する将来の探求の基盤を築いており、さらに研究を進めることでモデルのパフォーマンスと信頼性を向上させることができると示唆しています。

これらのモデルや方法を磨くことで、必要なラベル付きデータの量を減らし、現実のアプリケーションにVLMを導入するプロセスを加速する可能性があります。今後の研究では、まだ探求されていない他の交通関連タスクにも拡張できるでしょう。