Former un détecteur d'anomalies pour le comportement des avions

Pour créer un dataset pour entraîner notre détecteur d'Anomalies (DA), on a observé le comportement des avions sous un Contrôleur spécifique appelé TaxiNet. On a fait ça à deux moments de la journée (9h et 21h), dans deux conditions météo (dégagé et nuageux), et sur trois pistes différentes (KMWH, KATL et PAEI). Ça nous a donné un total de 12 situations à analyser.

Chacune de ces conditions peut produire des images différentes même si l'avion est dans le même état. Ça veut dire que les entrées de contrôle données à l'avion peuvent changer, menant à des résultats ou comportements différents.

Pour calculer le comportement de chaque situation, on a utilisé un outil connu sous le nom de Level Set Toolbox (LST). Cet outil fonctionne sur une grille représentant l'état de l'avion sur une courte période de 8 secondes. Les réglages qu'on a utilisés variaient selon les conditions spécifiques de la piste, avec des valeurs différentes pour KMWH.

Le LST a besoin d'entrées de contrôle à chaque position de la grille pour effectuer des calculs. On a obtenu ces entrées en utilisant un simulateur de vol appelé X-Plane pour créer des images et ensuite interroger le contrôleur sur l'état.

On a ensuite collecté des images de 20 000 états pour chacune des 12 scénarios. Ça a créé un total de 240 000 images sur lesquelles s'entraîner. Si une image venait d'un état jugé anormal, on l'a étiquetée comme anomalie. Sinon, elle était marquée comme sûre.

#Détecteur d'Anomalies

Ensuite, on a entraîné un classificateur binaire pour identifier les anomalies dans le dataset collecté. Notre classificateur est basé sur un Modèle pré-entraîné appelé EfficientNet-B0, avec des modifications apportées à sa dernière couche pour notre tâche spécifique. On a entraîné ce modèle en utilisant une méthode appelée perte d'entropie croisée et un optimiseur nommé Adam sur 20 cycles d'Entraînement.

Pour tester comment notre DA fonctionne, on l'a évalué sous une nouvelle condition temporelle (17h) dans les trois aéroports de nos exemples d'entraînement, ainsi que dans deux aéroports supplémentaires qui n'étaient pas inclus dans l'entraînement (KSFO et KEWR), tout en prenant en compte les deux conditions météo. On s'est concentré sur la mesure du rappel et de la précision du DA.

Un haut niveau de rappel indique que notre DA détecte de manière fiable les vraies anomalies, agissant prudemment lorsqu'il est incertain à propos d'une entrée. Cette approche prudente vise à garantir la sécurité de l'avion.

Pour calculer ces métriques, on a obtenu le comportement du système dans les nouveaux environnements de test. Il est important de noter que pendant le test, le DA n'avait accès qu'aux images échantillonnées sans aucune information supplémentaire sur le système ou les conditions.

#Performance du Détecteur d'Anomalies Appris

On a résumé la performance du DA en fonction de ses métriques de rappel et de précision, regroupées par différents aéroports et conditions météo. Les résultats montrent que notre DA performe bien dans l'identification des anomalies à travers de nouveaux environnements.

On a illustré certaines images classées comme anomalies, montrant des scénarios où l'avion était près des limites de la piste ou mal interprétait les marquages au sol, menant à des échecs potentiels.

Fait intéressant, le DA a appris que certaines images ne causaient pas d'échecs la nuit grâce aux lumières de la piste qui aidaient mieux à guider l'avion. Cette adaptabilité montre comment le DA peut différencier des situations similaires selon les conditions variées.

De plus, on a observé que de nombreuses images identifiées comme anomalies contenaient des marquages de piste, démontrant comment le DA pouvait reconnaître des motifs qui indiquent des problèmes potentiels sans avoir besoin d'analyse manuelle.

#Étiquettes Basées sur l'Erreur de Prédiction

On a aussi examiné une méthode différente pour étiquetter les anomalies basées sur les erreurs de prédiction du modèle TaxiNet. Si l'erreur de prédiction dépassait un certain seuil, on marquait ces images comme anomalies. Cependant, on a constaté que cette méthode n'identifiait pas systématiquement les véritables échecs dans le système.

Par exemple, certaines zones étaient marquées comme anomalies sur la base des erreurs de prédiction mais ne résultaient pas réellement en échecs du système. À l'inverse, il y avait des états qui ne montraient pas de hautes erreurs de prédiction mais qui ont conduit à des échecs. En conséquence, cette méthode s'est révélée peu fiable pour identifier avec précision les anomalies.

On a noté que changer les seuils pour l'étiquetage basé sur les erreurs de prédiction menait toujours à des résultats inconsistants, ce qui signifie que cette approche n'était pas suffisamment efficace pour nos besoins.

#Prédictions Ensemblées

Une autre tactique courante dans la détection d'anomalies consiste à utiliser des prédictions provenant de plusieurs réseaux de neurones. On a créé un ensemble en entraînant cinq variations du modèle TaxiNet, chacune commençant avec des poids différents. L'idée était de vérifier si les prédictions étaient cohérentes ; sinon, on les étiquetait comme anomalies.

Cependant, cette approche ensemblée a également rencontré des défis. Parfois, elle faisait des prédictions erronées avec confiance, et bien qu'elle ne soit pas d'accord sur d'autres, elle les classait à tort comme anomalies. En gros, compter sur les prédictions ensemblées n'a pas réussi à identifier avec succès les anomalies au niveau du système.

#Mécanisme de Sauvegarde

Pour assurer la sécurité lorsque notre DA détecte une anomalie, on a créé un simple mécanisme de sauvegarde. Si l'avion rencontre une image étiquetée comme anomalie, on réduit sa vitesse. Cette approche aide l'avion à ralentir ou à s'arrêter s'il continue à rencontrer des anomalies.

On a suivi la trajectoire de l'avion sous le contrôleur TaxiNet et le mécanisme de sécurité. Chaque fois qu'une anomalie était détectée, le contrôleur de sauvegarde ralentissait l'avion, veillant à ce qu'il reste en sécurité. Les tests ont montré qu'incorporer ce mécanisme réduisait significativement les risques d'échecs du système.

#Modes de Défaillance du Détecteur d'Anomalies

Malgré les forces du DA, on a constaté qu'il manquait parfois certaines anomalies. Cela se produisait principalement avec des images proches des limites de zones risquées. Par exemple, on a montré deux images similaires où l'une était mal classée tandis que l'autre était identifiée correctement. Les deux étaient très proches en apparence mais avaient des implications différentes pour la sécurité.

Le modèle a particulièrement du mal avec les environnements qui avaient de nouvelles caractéristiques pas vues pendant l'entraînement, comme différents marquages au sol dans des scénarios de test qui n'étaient pas pris en compte au préalable. Cela met en évidence la nécessité de mises à jour continues de notre système de détection à mesure que de nouvelles données deviennent disponibles.

#Entraînement Incrémental

Une approche alternative pour renforcer notre détection d'anomalies est l'entraînement incrémental du modèle TaxiNet en utilisant les données qu'on a étiquetées comme anomalies. En s'entraînant sur ces exemples d'échecs, on peut améliorer la capacité de TaxiNet à mieux gérer ces cas difficiles à l'avenir.

Les premiers résultats de cet entraînement supplémentaire montrent des améliorations prometteuses. Le modèle mis à jour a connu beaucoup moins d'échecs par rapport à l'original. Les tests ont démontré que la version entraînée de manière incrémentale était plus efficace pour naviguer dans des situations délicates.

Néanmoins, il est essentiel de reconnaître la complexité de l'entraînement incrémental, qui peut entraîner des problèmes où le modèle oublie ce qu'il a appris précédemment. Notre approche utilisant un modèle DA plus simple nécessite moins d'efforts et peut toujours améliorer la performance. Cependant, on apprécie le potentiel de l'entraînement incrémental et son exploration continue sera précieuse à l'avenir.