航空機の挙動の異常検知器をトレーニングする

異常検知器（AD）をトレーニングするためのデータセットを作るために、特定のコントローラーであるTaxiNetの下で航空機の挙動を測定したんだ。これを、2つの異なる時間（午前9時と午後9時）、2つの天候条件（晴れと曇り）、3つの異なる滑走路（KMWH、KATL、PAEIとして特定）で実施した。このセットアップで、分析するための合計12の異なる状況が得られたんだ。

これらの条件のそれぞれは、航空機が同じ状態にあっても異なる画像を生成するかもしれない。つまり、航空機に与えられる制御入力が変わることで、異なる結果や挙動が生じるってこと。

各状況の挙動を計算するために、Level Set Toolbox（LST）というツールを使用した。ツールボックスは、航空機の状態を短い8秒間で表すグリッド上で動作するんだ。使用した設定は、特定の滑走路の条件に基づいて異なり、KMWHは異なる値を必要とした。

LSTは計算を行うために、グリッド上の各位置で制御入力が必要なんだ。これらの入力は、フライトシミュレーターのX-Planeを使って画像をレンダリングし、状態についてコントローラーに問い合わせることで得たよ。

その後、12のシナリオそれぞれについて20,000の状態の画像を収集した。これで、トレーニング用の合計240,000の画像が作成された。もし画像が異常と判断された状態からのものであれば、それを異常としてラベル付けした。そうでなければ、安全としてタグ付けされた。

#異常検知器

次に、収集したデータセットの異常を識別するために、バイナリ分類器をトレーニングした。私たちの分類器は、EfficientNet-B0という事前トレーニングされたモデルに基づいていて、特定のタスクのために最終層を修正した。クロスエントロピー損失という手法と、Adamという最適化器を使って20回のトレーニングサイクルでこのモデルを訓練したんだ。

ADがどれくらいうまく機能するかをテストするために、トレーニング例の3つの空港の新しい時間条件（午後5時）で評価し、トレーニングに含まれていない2つの追加の空港（KSFOとKEWR）でも同様に、両方の天候条件を考慮した。ADのリコールと精度を測定することに集中したよ。

高いリコール値は、私たちのADが真の異常を信頼性高く検出していることを示していて、不確かな入力に対して慎重に行動する。これは航空機の安全を確保するための注意深いアプローチなんだ。

これらの指標を計算するために、新しいテスト環境でシステムの挙動を取得した。重要なのは、テスト中にADはサンプルされた画像のみにアクセスでき、システムや条件についての追加情報はなかったってこと。

#学習した異常検知器のパフォーマンス

ADのパフォーマンスをリコールと精度の指標に基づいて、異なる空港や天候条件でグループ分けして要約した。結果は、私たちのADが新しい環境で異常を識別するのにうまく機能していることを示している。

異常として分類された画像のいくつかを示して、滑走路の境界近くに航空機がいたり、滑走路のマーキングを誤解したシナリオが潜在的な失敗につながる可能性を示したよ。

興味深いことに、ADは特定の画像が夜間に失敗を引き起こさなかったことを学習した。滑走路の灯火が航空機をよりよく誘導してくれるからなんだ。この適応性は、ADが異なる条件に基づいて似たような状況を区別できることを示している。

さらに、多くの異常として識別された画像には、滑走路のマーキングが含まれていたんだ。これは、ADが潜在的な問題を示すパターンを認識できることを示していて、手動分析を必要としないんだ。

#予測誤差ベースのラベル

異常にラベルを付けるために、TaxiNetモデルからの予測誤差に基づく別の方法も検討した。予測誤差が一定のレベルを超えた場合、その画像を異常とマークしたんだ。しかし、この方法ではシステムの真の失敗を一貫して特定できないことが分かった。

例えば、特定のエリアは予測誤差に基づいて異常とマークされたが、実際にはシステムの失敗にはつながらなかった。一方で、高い予測誤差を示さなかった状態が失敗につながることもあった。結果として、この方法は異常を正確に特定するには信頼性が低いことが判明した。

予測誤差に基づくラベリングの閾値を変更しても、一貫性のない結果に終わり、このアプローチは私たちのニーズには不十分だった。

#アンサンブル予測

異常検知において一般的な戦術の1つは、複数のニューラルネットワークからの予測を使用することだ。私たちは、異なる重みで開始するTaxiNetモデルの5つのバリエーションをトレーニングしてアンサンブルを作成した。予測が一致するかどうかを確認するという考えで、一致しない場合はそれを異常とラベル付けした。

しかし、このアンサンブルアプローチも課題に直面した。時には自信を持って間違った予測を行ったり、他の予測で意見が一致しないことがあったりして、それらを異常と誤分類することがあった。全体として、アンサンブル予測に頼ることはシステムレベルの異常をうまく特定できなかった。

#フォールバックメカニズム

ADが異常を検出したときの安全を確保するために、シンプルなフォールバックメカニズムを作成した。航空機が異常としてタグ付けされた画像に遭遇した場合、その速度を減少させる。これにより、航空機が異常に遭遇し続けた場合、減速または停止できるんだ。

私たちはTaxiNetコントローラーと安全メカニズムの下で航空機の軌道を追跡した。異常が検出されるたびに、フォールバックコントローラーが航空機を減速させて、安全を保つようにしたんだ。テストでは、このメカニズムを組み込むことでシステムの失敗の可能性が大幅に減少することが示された。

#異常検知器の失敗モード

ADの強みにもかかわらず、特定の異常を見逃すことがあることが分かった。これは主に、危険なエリアの境界近くの画像で発生した。例えば、似たような2つの画像を示し、1つは誤分類され、もう1つは正しく特定された。見た目は非常に似ていたが、安全に対する影響が異なっていたんだ。

特に、トレーニング中に見たことがない新しい特徴を持つ環境、例えばテストシナリオで異なる滑走路のマーキングがあった場合にモデルが苦労した。これは、新しいデータが得られるたびに私たちの検出システムを継続的に更新する必要があることを示している。

#増分トレーニング

異常検知を強化するための別のアプローチは、異常としてラベル付けしたデータを使ってTaxiNetモデルを増分トレーニングすることだ。これらの失敗例で訓練することで、将来的にTaxiNetの能力を向上させられる。

この追加トレーニングの初期結果は有望な改善を示した。更新されたモデルは、元のモデルに比べて著しく少ない失敗を経験した。テストでは、増分トレーニングされたバージョンが難しい状況を乗り越えるのにより効果的であることが示された。

それでも、増分トレーニングの複雑さを認識することが重要で、モデルが以前に学習したことを忘れる問題を引き起こす可能性がある。私たちのシンプルなADモデルを使うアプローチは、より少ない労力でありながらパフォーマンスを改善することができる。しかし、増分トレーニングの可能性は評価していて、それを今後も探求することが重要だ。