BOTTを使った3Dオブジェクトトラッキングの進展

3Dオブジェクトの追跡は自動運転車にとって超重要だよ。従来はカルマンフィルタに基づく方法が広く使われてきたけど、これらは動きのモデリングに手作業が多くて、増えるデータをうまく活用できてないんだ。そこで提案されたのが「Box Only Transformer Tracker（BOTT）」っていう新しいアプローチで、異なるフレーム間で同じオブジェクトの3Dボックスをリンクすることを学ぶんだ。

BOTTは与えられた時間帯のすべての3Dボックスを入力として使うよ。自己注意っていう技術を使ってボックス間で情報を共有して、意味のあるボックス表現を作るのを助けるんだ。この学習した類似性を使って、同じオブジェクトに属するボックスをリンクできるんだ。BOTTはオンラインでもオフラインでもシームレスに動作するし、そのシンプルなデザインで従来のカルマンフィルタ法に必要なエンジニアリング時間を大幅に削減できるんだ。テストでは、BOTTが主要な3Dオブジェクト追跡ベンチマークで競争力のある結果を出してることが確認されてるよ。

#3Dオブジェクト追跡の重要性

自動運転技術は最近すごく注目されてるね。自律走行車両を安全にするための重要な部分は、その周囲の3Dオブジェクトを正確に識別し追跡すること。この過程はオブジェクトを認識することと、その動きを追いかけることを含むよ。大規模な公共データセットや高性能な検出方法のおかげで、3Dオブジェクトの検出はかなり進展してるけど、検出方法を使ったオブジェクト追跡は依然として人気があるんだ。なぜなら、先進的な3D検出器の力を活かせるから。

既存の追跡方法のほとんどはまだカルマンフィルタに依存しているよ。これらのトラッカーは3Dモーション追跡に自然に適応していて素晴らしいんだけど、いくつかの欠点があるんだ。まず、異なる種類の動きに対して一連のカルマンフィルタが必要だから複雑になる。次に、これらのトラッカーは現代の大規模データセットを活用して性能を向上させることができないんだ。

最近のいくつかの方法は、検出と追跡を一つのステップに組み合わせようとしているけど、3D検出の仕組みのために多くの課題に直面してる。オブジェクトの検出は特定の瞬間での位置に焦点を当てていて、追跡は時間を超えた動きの広範な記憶を必要とするから、空間的および時間的な側面で大幅に多くのデータでトレーニングするのが難しいんだ。

#BOTTアーキテクチャ

BOTTのアーキテクチャは、BOTTネットワークとボックス追跡モジュールの2つの主要なコンポーネントから成り立っているよ。プロセスは、連続するフレームからすべての3Dボックスを収集するスライディングウィンドウから始まる。次に、BOTTネットワークがボックスがどのようにリンクされるかを示す行列を生成するよ。そのステップは、各ボックスの特徴をエンコードし、自己注意を使ってボックス同士の関係を理解し、ドット積計算を通じてリンクスコアを生成することからなる。ボックス追跡モジュールはこれらのスコアを使ってトラックを作成し、オンラインおよびオフラインの追跡をサポートするんだ。

別のアプローチとして、3Dオブジェクトのバウンディングボックスを直接追跡する方法もあるよ。この方法は従来のカルマンフィルタよりも簡単な選択肢を提供する。ボックスの幾何学的特性にのみ焦点を当てることで、機械学習の手法は増大するデータのボリュームを活用できるけど、いくつかの重要な挑戦に直面している。各フレームの無秩序なボックスの量が変わるため、アイデンティティの一貫性が複雑になり、幾何学的特徴が一貫した空間-時間的リンクを維持しないんだ。

それでも、私たち人間は同じオブジェクトのボックスを上から見て、その配置や文脈を解釈することで簡単に関連付けることができるよ。要するに、位置やサイズ、形状のような特徴があれば追跡を促進するのに十分なはずなんだ。主な課題は、各ボックスの情報を学ぶための適切なアプローチを見つけること。PolarMOTっていうインスパイアリングなプロジェクトがローカルボックスからボックスの特徴を学ぶためにグラフニューラルネットワークを使ったんだけど、BOTTはすべてのボックスからグローバルにボックスの特徴を学ぶために注意機構を使用する異なるデザインを提案してるよ。

#BOTTの主要な貢献

BOTTが際立っている主な特徴は以下の通りだよ：

1. 自己注意に基づく追跡： BOTTは3Dバウンディングボックスのみを使用して追跡することに焦点を当ててる。シンプルさと効果的さが、トランスフォーマーを使った新しい追跡手法の扉を開くかもしれない。

2. 完全な追跡アルゴリズム： BOTTフレームワークの下で、オンラインおよびオフライン追跡のアルゴリズムが提供されてる。

3. 競争力のある性能： BOTTは主要な3D MOTデータセットで評価され、素晴らしい結果を達成してる。

4. 包括的な研究： 強い性能に寄与する主要なデザインを理解するための広範な研究が行われていて、BOTTが異なるデータセットや頻度でどれだけうまく動作するかが検証されてる。

#関連研究

このセクションは、検出方法に基づく3Dオブジェクト追跡（MOT）、トランスフォーマーに基づくトラッカー、およびオンライン/オフラインMOT技術に関する既存の研究の概要を提供するよ。

#3D MOT

従来の方法であるAB3DMOTは、シンプルなカルマンフィルタを使った3D MOT追跡の基盤を整えてる。これらの方法に基づいて追跡性能を向上させるための様々な手法が提案されてきた。これらの方法の主な違いは、リンクのメトリクスにあるよ。最近では、グラフニューラルネットワークを用いた学習ベースのアルゴリズムが注目を集めていて、グラフは検出されたオブジェクト間の関係を自然に表現するんだ。これらの手法は期待できるけど、BOTTの自己注意設計はボックスをリンクするための異なる効果的な方法を提供してるよ。

#トランスフォーマートラッカー

最近、トランスフォーマーはシーケンスデータの処理に人気が出てるね。長い依存関係を管理する能力や遮蔽に対する堅牢性が、2D MOT設定での追跡性能を向上させてる。いくつかのトラッカーは外観特徴を持つトランスフォーマーを利用してるけど、BOTTは外観データなしで3Dバウンディングボックスから文脈情報を学ぶ点でユニークなんだ。

#オンラインおよびオフライントラッキング

自動運転におけるオフラインの自動ラベリング技術は、データのアノテーションをスケールアップするのに重要になってるよ。BOTTはオンラインとオフラインの両方の追跡を効果的に実行できるし、従来のカルマンフィルタ法は未来の情報を取り入れるのに課題があって、再帰的に働くように設計されてる。対してBOTTは、両方のタイプの追跡を簡単に取り入れられるんだ。

#BOTTの動作

BOTTフレームワークは、追跡されたボックスを処理するためのシンプルなパイプラインで構成されてるよ。

#入力データ処理

複数のフレームからなるシーンでは、BOTTが検出された3Dボックスを収集するんだ。各ボックスには、中心位置、サイズ、回転角、時間、および分類スコアなどの生の特徴があるよ。スライディングウィンドウが定義されていて、連続するフレームの全ボックスを含むんだ。

BOTTネットワークはボックスを処理してリンクスコアを生成する。ネットワークには3つの主要なステップがあって、個々のボックス特徴をエンコードし、ボックス間の関係を理解するために自己注意を使い、リンクスコアを推定するんだ。

#個々のボックス特徴のエンコーディング

最初のステップは、生の幾何データから高レベルの特徴を学習することに焦点を当ててる。変動を減らすために、ボックスの中心位置を標準化するんだ。時間の特徴はボックスフレーム間の差に基づいてエンコードされる。各ボックスの特徴は、多層パーセプトロン（MLP）を通じて処理されて、意味のある埋め込みを生成するよ。

#インターボックス関係

個々のボックス特徴がエンコードされたら、それらはボックス間の関係を捉えるための自己注意モジュールに送られる。このモジュールは、すべての入力ボックス埋め込みが情報を交換できるようにするために、複数のトランスフォーマーエンコーダブロックを使用するんだ。それによって、ボックス間のダイナミクスを豊かに理解できるようになるよ。

重要なのは、BOTTでは自己注意がクラスに依存しないってこと。つまり、各ボックスは他のすべてのボックスから学ぶことができるんだ。これにより、複数のオブジェクトカテゴリを扱うプロセスがシンプルになるんだ。

#リンクスコアの推定

リンクされたボックスは、似たような空間-時間の文脈を共有してる。学習した埋め込みを得た後は、正規化を行い、ドット積計算を通じてリンクスコアを生成して、ボックス間の潜在的な接続を示すんだ。これらのスコアは追跡タスクをバイナリ分類問題に変換するんだ。

トレーニング中は、スコアの精度に影響を与える特定のケースを無視する特別な損失関数が作られるよ。

#BOTTを使った追跡

BOTTは確立されたリンクスコアを利用して効率的にトラックを作成し、オンラインおよびオフラインの追跡戦略を採用するよ。

#オンライントラッキング

オンライン追跡では、最新のボックスのスライディングウィンドウが処理されてリンクスコアが生成されるんだ。ここでの目的は、新しい検出を既存のトラックに接続することなんだ。トラックの作成、更新、終了を管理するためのシンプルな管理戦略が使われるよ。

各一致した検出は既存のトラックの一部になって、アイデンティティを共有し続ける。一致しない検出は新しいトラックの誕生を生むけど、最初は未確認の状態になる。もし十分なボックスが時間の経過とともに蓄積されれば、それが確認される。指定された時間内に新しい検出が発生しない場合、トラックは最終的に終了するんだ。

#オフライントラッキング

オフラインモードでは、すべての可能なスライディングウィンドウが事前に作成されて、各ボックスに対してリンクスコアが生成されるよ。次に、オプティマルな閾値を適用して低スコアをフィルタリングし、非最大抑制技術が冗長性を減らすのを助けるんだ。

オフラインアプローチはBOTTのシンプルさから恩恵を受けてるから、複雑なメカニズムなしでも印象的な結果を得られるんだ。

#実験設定

BOTTは、3D MOTの2つの主要なベンチマーク、nuScenesとWaymo Open Dataset（WOD）でテストされたよ。

#データセットとメトリクス

NuScenesは1000の運転シーンで構成されていて、それぞれ約20秒続き、異なる頻度で詳細なアノテーションが利用可能だよ。Waymo Open Datasetも同様の特性を持っていて、独自のメトリクスがある。BOTTの性能メトリクスには、平均オブジェクト追跡精度、リコール、さまざまなオブジェクトカテゴリにわたるアイデンティティスイッチが含まれているんだ。

#トラックデータベースの生成

トラックデータベースは、検出ボックスと地上真実ボックスをペアリングすることで作成されるよ。最初に、検出をフィルタリングしてオーバーラップや低スコアの検出を排除する。次に、クラスを意識した関連付けプロセスを使って、検出ボックスと地上真実ボックスをマッチさせる。トラックIDが適宜割り当てられて、検出と偽陽性の明確な分割が可能になるんだ。

#実装の詳細

BOTTの作成に使用される特定のネットワーク設定、トレーニング手順、およびデータ拡張技術に関する詳細も重要なんだ。

#ネットワーク構成

BOTTは複数の層を含んでいて、単一のボックスエンコーディングのためのMLPには複数のLinear ReLUブロックがあるよ。インターボックスエンコーディングには、3つの同じエンコーダーブロックが使用されていて、効果的に学習されたボックス埋め込みを作り出すんだ。

#トレーニングプロセス

BOTTのトレーニングはリンク分布の不均衡に対処することに焦点を当ててる。学習中に膨大な数のネガティブリンクを管理するために、ハードネガティブサンプルマイニングが採用されるよ。全体のトレーニングプロセスは効果的な最適化手法を使って実施されて、BOTTが入力データに素早く効率的に適応できるようにしているんだ。

#データ拡張

データ拡張はBOTTの堅牢性を向上させるために重要な役割を果たすんだ。トラックをドロップしたり、ボックスを反転させたり、回転させたりするなど、様々な方法が適用されて、入力データの多様性を高めるんだ。

#性能評価

BOTTの性能は、同じ検出ソースを使った既存のトラッカーと比較して評価されるよ。結果はBOTTが多くの学習ベースのトラッカーを上回る一方で、従来の方法と同等の性能を示すことを示しているんだ。

#定性的結果

BOTTの追跡能力の視覚評価は、さまざまなフレーム間でボックスをリンクする際の効果を示していて、近くのボックスの注意深い影響を強調してるよ。

#アブレーションスタディ

注意機構の効果や物理的制約が追跡性能に与える影響をテストするために、一連のアブレーションスタディが行われたんだ。

#結論

BOTTは3Dオブジェクト追跡の分野で大きな進展を示しているよ。3Dボックスの幾何学的特徴にのみ焦点を当ててトランスフォーマーに基づくアーキテクチャを採用することで、BOTTは最小限の複雑さで素晴らしい性能を達成しているんだ。このアプローチは従来の方法をシンプルにするだけでなく、オンラインとオフラインのシナリオの両方にもうまく適応できるから、3D追跡技術の将来の発展に道を開いているんだ。