Améliorer la sécurité des conducteurs grâce à la reconnaissance d'actions

Reconnaître et identifier quand les conducteurs effectuent différentes actions est super important pour améliorer la sécurité sur les routes. Cette compétence est particulièrement cruciale pour les systèmes avancés conçus pour aider les conducteurs et pour les études qui observent les comportements de conduite en temps réel. Cependant, c'est un truc assez compliqué. Ça demande des systèmes qui sont solides, fiables et précis. Dans notre approche, on veut améliorer les performances en utilisant intelligemment les technologies de reconnaissance d'actions vidéo et en les adaptant au défi spécifique d'identifier les actions de conduite.

Pour résoudre ce problème, on a développé une méthode qui inclut deux composants principaux. D'abord, on a créé une nouvelle technique appelée « lissage des étiquettes guidé par la densité ». Cette technique aide le processus d'apprentissage en améliorant comment le modèle interprète les segments vidéo qui montrent souvent plus d'une action. Ensuite, on a conçu un processus de suivi qui fusionne les informations provenant de différents clips vidéo et de plusieurs angles de caméra en une seule prédiction claire. Cette étape aide à éliminer les mauvaises suppositions. Notre méthode a montré de bons résultats lorsqu'elle a été testée par rapport à un benchmark spécifique.

#Importance du Transport Sûr

Aujourd'hui, le transport est une partie clé de la vie quotidienne et un gros facteur dans le fonctionnement des économies. Des millions de gens dépendent de différentes formes de transport, surtout des voitures. Mais avec cette grosse dépendance viennent aussi des risques significatifs. Par exemple, rien qu'en 2013, environ 1,25 million de personnes ont perdu la vie sur les routes. En réponse à ces statistiques alarmantes, les chercheurs travaillent dur sur des systèmes avancés qui aident les conducteurs à rester en sécurité et à l'aise pendant qu'ils conduisent.

Ces systèmes d'assistance au conducteur visent à automatiser complètement la conduite, garantissant que la sécurité n'est jamais compromise par une erreur humaine. Cependant, atteindre cet objectif n'est pas simple. La complexité de la conduite, la nature changeante de l'environnement et les normes élevées de sécurité rendent l'automatisation difficile. Actuellement, ces systèmes ont encore besoin d'une supervision humaine pour prévenir les accidents. Cette exigence souligne le besoin d'une surveillance continue de l'attention des conducteurs, ce qui explique pourquoi des méthodes innovantes en vision par ordinateur sont à l'étude.

#Comprendre les Actions de Conduite

Pour une reconnaissance pratique des actions de conduite, il ne suffit pas d'identifier l'action spécifique que le conducteur est en train de faire, mais il faut aussi déterminer quand cette action a lieu. Ce besoin apparaît parce que les vidéos du monde réel sont souvent non montées et peuvent montrer plusieurs actions simultanément. Ce défi est appelé localisation temporelle des actions. Beaucoup d'approches dans ce domaine se sont inspirées des techniques conçues pour détecter des objets. Une autre méthode plus simple est l'approche de la fenêtre glissante, où les actions sont classées pour des segments de vidéo qui se chevauchent, et les probabilités résultantes sont combinées ensuite. Bien que cette méthode offre des performances décentes, elle a du mal avec la précision quand les segments montrent plusieurs actions.

Pour améliorer ce problème, on propose d'utiliser le lissage des étiquettes guidé par la densité. Cette approche nous permet de nous concentrer sur la distribution des différentes étiquettes d'action au sein de chaque segment vidéo, aidant à atteindre un meilleur équilibre entre les tâches de classification et de localisation. De plus, on a également inclus un processus de suivi qui combine efficacement les informations provenant de plusieurs vues de caméra pour améliorer les prédictions.

#Travaux Connus

Pour mieux comprendre nos contributions, il est important de regarder les recherches précédentes dans des domaines clés comme l'extraction de fonctionnalités vidéo, la localisation temporelle des actions et les ensembles de données sur les actions de conduite.

#Extraction de Fonctionnalités Vidéo

Extraire des fonctionnalités importantes des vidéos est crucial pour diverses tâches avancées, y compris la reconnaissance d'actions et la détection d'événements inhabituels. Les méthodes traditionnelles se sont concentrées sur la création de fonctionnalités manuellement, par exemple, en utilisant des modèles qui suivent le mouvement ou des approches statistiques basées sur les gradients des images. Récemment, les méthodes d'apprentissage profond, surtout celles utilisant des réseaux de neurones convolutifs (CNN), ont donné des résultats impressionnants.

#Localisation Temporelle des Actions

Identifier quand des événements importants se produisent dans des vidéos qui n'ont pas été coupées est une tâche compliquée. Les premières tentatives utilisaient souvent une méthode appelée la fenêtre glissante, où les actions étaient classées dans des périodes de temps définies, parfois combinées avec des techniques comme les machines à vecteurs de support pour la classification. Pendant ce temps, des méthodes inspirées de la détection d'objets ont émergé, comme l'utilisation de convolutions spécialisées pour capturer les relations temporelles.

#Ensembles de Données sur la Reconnaissance des Actions de Conduite

Des ensembles de données de haute qualité sont essentiels pour un entraînement efficace, surtout pour les techniques basées sur l'apprentissage profond. Plusieurs ensembles de données présentent des enregistrements provenant de caméras à bord, conçus spécialement pour étudier des comportements de conduite réalistes. Un ensemble de données notable inclut diverses activités effectuées par des conducteurs à l'intérieur d'une voiture, tandis qu'un autre ensemble se concentre sur les actions liées aux distractions, capturant une vaste quantité de données vidéo à travers plusieurs caméras.

#Notre Méthodologie

Notre approche est structurée autour de trois parties principales :

1. Extraction de Fonctionnalités
2. Classification au niveau des segments
3. Localisation et Post-Traitement

#Extraction de Fonctionnalités

Pour détecter et localiser les comportements de conduite distraits, on utilise l'approche de la fenêtre glissante, qui bénéficie des recherches établies en reconnaissance d'actions vidéo et utilise des modèles pré-entraînés. On utilise spécifiquement le réseau SlowFast pour l'extraction des fonctionnalités. Ce réseau capture des informations à la fois à des taux de trame élevés et bas, lui permettant de gérer efficacement différents types d'actions qui peuvent survenir dans une vidéo.

#Classification au Niveau des Segments

Dans notre étape de classification, on emploie les fonctionnalités obtenues du réseau SlowFast. Le modèle est adapté à nos besoins spécifiques en ajoutant des couches qui se concentrent sur les actions de conduite qui nous intéressent. Un défi que l'on rencontre est le déséquilibre des données d'entraînement, ce qui peut nuire à la performance du modèle. Pour surmonter cela, on s'assure que chaque mini-lot contient un nombre égal d'échantillons provenant de différentes classes et vues de caméra.

#Segments de Limite

Un problème avec la méthode de la fenêtre glissante est comment elle gère les segments qui contiennent plusieurs étiquettes. Au lieu de simplement étiqueter ces segments en fonction de l'action la plus courante, on soutient que l'utilisation de toutes les informations dans ces segments peut améliorer la performance. Cela nous amène à notre approche de lissage des étiquettes guidé par la densité.

#Lissage des Étiquettes Guidé par la Densité

Le lissage des étiquettes est une technique de régularisation qui aide à améliorer les prédictions d'un modèle en l'empêchant de devenir trop sûr de lui. Dans notre cas, on améliore ce concept en introduisant le lissage des étiquettes guidé par la densité. Notre approche calcule une distribution d'étiquettes lissées basée sur les différentes étiquettes d'action présentes dans chaque segment vidéo. Cette technique permet à notre modèle d'apprendre mieux à partir de segments où plusieurs actions se produisent.

Notre méthode inclut une fonction de perte unique pour l'entraînement, qui intègre le lissage des étiquettes guidé par la densité dans la fonction de perte d'entropie croisée, guidant efficacement l'apprentissage du réseau.

#Post-Traitement

Après la phase de classification, on met en place un pipeline de post-traitement. Ce processus inclut trois étapes clés :

1. Fusion des Probabilités de Flux
2. Détection de Pics et Seuils
3. Élimination des Prédictions Chevauchantes

#Fusion des Probabilités de Flux

Dans les scénarios impliquant plusieurs caméras, on a besoin d'une manière de combiner leurs sorties. On y parvient en faisant la moyenne des probabilités de classe à travers tous les flux vidéo synchronisés, ce qui donne un seul ensemble de probabilités de scène qui reflète l'information de tous les angles de caméra.

#Détection de Pics et Seuils

Ensuite, on identifie les pics dans les probabilités de scène, ce qui indique quand une action est probablement en train de se produire. Pour ce faire, on applique un filtrage médian pour lisser le bruit tout en restant capable d'identifier les changements brusques dans les données. Si ces pics dépassent un certain seuil, on les étiquette comme des actions potentielles.

#Élimination des Prédictions Chevauchantes

Pour garder nos prédictions finales précises, on s'attaque également à la question des prédictions chevauchantes. Quand plusieurs actions sont détectées pour le même cadre, on calcule leur chevauchement et on garde seulement la prédiction la plus fiable en se basant sur des critères prédéterminés.

#Ensemble de Données d'Évaluation

Lors du défi NVIDIA AI City 2022, on a eu accès à un ensemble de données riche qui comprend de nombreuses vidéos enregistrées sous différents angles à l'intérieur d'un véhicule. Le défi consiste à reconnaître les différents comportements distrayants des conducteurs pendant qu'ils effectuent diverses tâches tout au long des clips vidéo.

#Détails d'Implémentation

#Extraction de Fonctionnalités

On utilise le réseau SlowFast, qui a été pré-entraîné sur un grand ensemble de données vidéo, pour extraire des vecteurs de fonctionnalités de nos vidéos d'entrée. Chaque cadre est redimensionné pour s’adapter au modèle, et on traite continuellement des segments de la vidéo tout en maintenant un format d'entrée cohérent.

#Classification au Niveau des Segments

Les vecteurs de fonctionnalités traités sont soumis à une série de couches entièrement connectées. On applique une méthode d'optimisation et une fonction de perte qui inclut notre lissage des étiquettes guidé par la densité pour améliorer le processus d'apprentissage du modèle.

#Localisation et Post-Traitement

Pour les étapes finales, on met en œuvre un filtrage temporel et on fixe des seuils pour détecter les pics avec précision, assurant que nos prédictions soient à la fois fiables et pertinentes.

#Métriques d'Évaluation

Pour évaluer notre approche, on se concentre sur la mesure de la capacité de notre modèle à identifier correctement les actions dans les délais spécifiés. On suit les vrais positifs, les faux positifs et les faux négatifs, en calculant le rappel et la précision pour finalement obtenir le score qui reflète la performance de notre modèle.

#Résultats Expérimentaux

On a testé notre méthode contre l'ensemble de données du défi et on a observé des résultats encourageants. Notre approche a montré sa capacité à localiser et classifier avec précision diverses actions de conduite, avec des inspections visuelles soutenant l'efficacité de nos prédictions.

Notre modèle a obtenu une position notable parmi les concurrents, montrant ses forces à identifier avec précision les temps de début et de fin des actions tout au long des clips vidéo. De plus, l'étape d'élimination des chevauchements s'est révélée bénéfique pour améliorer la performance globale.

#Défis et Directions Futures

Bien que nos résultats soient prometteurs, certains défis demeurent. Par exemple, déterminer le moment exact des actions peut être subjectif, entraînant des écarts dans les données de vérité terrain. De plus, la gamme de distractions potentielles pour les conducteurs est plus large que ce sur quoi on s'est concentré, suggérant que beaucoup d'autres comportements pertinents pourraient passer inaperçus.

Pour améliorer notre méthodologie, on propose d'explorer des sources de données supplémentaires, comme l'audio capturé à partir du véhicule. En intégrant le son avec les données visuelles, on pourrait créer un ensemble de données plus riche qui permettrait une meilleure reconnaissance et localisation des actions.

#Conclusion

En résumé, on a introduit une méthodologie qui localise et identifie efficacement les comportements de conduite distraits en utilisant des données vidéo à bord d'un véhicule. Notre approche intègre des techniques innovantes pour améliorer l'apprentissage à partir de segments vidéo complexes et combine les prédictions provenant de plusieurs vues de caméra pour améliorer la précision. Les résultats positifs de notre méthode soulignent son potentiel pour faire avancer les systèmes d'assistance au conducteur et améliorer la sécurité routière dans l'ensemble.