Faire progresser la reconnaissance d'action dans les vidéos égocentriques

Il y a eu un intérêt croissant pour l'utilisation de modèles qui combinent vision et langage afin d'identifier des actions dans des vidéos. Ces modèles ont montré de bons résultats lorsqu'ils ont été testés avec des images et vidéos standards, mais leur performance chute significativement lorsqu'il s'agit de vidéos prises d'une perspective à la première personne. Les vidéos à la première personne, aussi connues sous le nom de vidéos égocentriques, capturent les actions telles que vues par l'utilisateur, ajoutant une couche de complexité que les modèles traditionnels peinent à gérer.

#Le Problème avec les Modèles Actuels

Les modèles traditionnels ont bien fonctionné avec les vidéos à la troisième personne, mais l'écart entre la façon dont ces modèles fonctionnent avec des ensembles de données standards et les défis uniques posés par les vidéos égocentriques est important. Par exemple, les modèles entraînés sur des ensembles de données à la troisième personne peuvent reconnaître des objets et des actions correctement, mais lorsqu'ils sont appliqués à des vidéos égocentriques, leur précision diminue. C'est en partie à cause du fait que les vidéos égocentriques incluent souvent différents environnements, différents utilisateurs et divers objets et actions que les modèles n'ont pas appris à reconnaître.

#Notre Solution : Le Cadre X-MIC

Pour s'attaquer à ces problèmes, nous introduisons un nouveau cadre appelé X-MIC. Ce cadre entraîne une partie spéciale appelée un adaptateur vidéo, qui aide le modèle à apprendre comment relier des descriptions textuelles à des vidéos égocentriques. En faisant cela, nous visons à améliorer la manière dont les modèles reconnaissent les actions dans des vidéos prises d'une perspective à la première personne.

#Comment Fonctionne X-MIC

X-MIC utilise un espace partagé où les informations visuelles et textuelles peuvent coexister. Cette technique permet au modèle d'aligner directement les informations textuelles figées au contenu Vidéo égocentrique. Nous avons construit une nouvelle structure qui sépare la façon dont le modèle traite le temps dans une vidéo (Modélisation Temporelle) et la façon dont il comprend les images (codage visuel). Cette séparation aide le modèle à mieux se généraliser à travers différents types de données.

#L'Importance de la Reconnaissance d'actions Égocentriques

Alors que la réalité augmentée et la robotique deviennent de plus en plus populaires, reconnaître des actions dans des vidéos à la première personne est essentiel. De récents grands ensembles de données comme Epic-Kitchens et Ego4D ont été créés pour capturer des activités quotidiennes d'un point de vue à la première personne. Cependant, une grande partie du travail existant s'est concentrée uniquement sur l'évaluation des actions au sein du même ensemble de données, ce qui limite la performance du modèle dans des applications réelles. Il est essentiel de tester les modèles sur des ensembles de données divers pour voir à quel point ils s'adaptent à de nouvelles situations.

#Défis dans l'Entraînement et les Tests

Un des principaux défis dans l'entraînement de ces modèles est l'incohérence des environnements et des objets présents dans différents ensembles de données. Les modèles entraînés sur un ensemble de données peuvent ne pas bien performer lorsqu'ils sont testés sur un autre à cause de ces différences. La performance chute encore plus lorsque le modèle rencontre des actions et des objets qu'il n'a jamais vus auparavant. Ainsi, il y a un besoin significatif de systèmes capables de s'adapter et de se généraliser efficacement à travers des ensembles de données variés.

#Aperçu des Techniques Actuelles

Les techniques actuelles incluent des méthodes qui modifient les entrées textuelles pour convenir aux tâches visuelles. Certaines techniques utilisent des composants supplémentaires entraînables qui relient les données textuelles et visuelles. Cependant, ces approches ne prennent souvent pas en compte les besoins spécifiques du contenu vidéo égocentrique. Cela conduit à des inefficacités et à une performance inférieure dans la reconnaissance précise des actions.

#Notre Approche pour Adapter les Modèles Vision-Langage

Le cadre X-MIC permet une adaptation simple des modèles vision-langage pour mieux fonctionner avec des vidéos égocentriques. En introduisant des connaissances spécifiques aux vidéos à la première personne dans l'architecture du modèle existante, nous permettons une meilleure reconnaissance des actions. La méthode transforme chaque vidéo en un vecteur qui soutient l'alignement efficace des données textuelles et vidéo.

#Évaluation sur Divers Ensembles de Données

Nous avons rigoureusement testé notre méthode sur plusieurs ensembles de données, incluant Epic-Kitchens, Ego4D, et EGTEA. Les évaluations montrent que notre approche surpasse significativement d'autres techniques à la pointe en matière de reconnaissance d'actions à travers différents ensembles de données.

#Aborder la Généralisation Intra-Dataset et Inter-Dataset

Un des principaux objectifs de notre recherche est de garantir que la reconnaissance d'actions ne soit pas limitée à l'ensemble de données sur lequel le modèle a été entraîné. Nous avons abordé à la fois la généralisation intra-dataset (au sein du même ensemble de données) et inter-dataset (à travers différents ensembles de données). Ce double focus est crucial pour une utilisation pratique dans des applications réelles où le modèle rencontre de nouvelles données non vues.

#Le Rôle de l'Apprentissage par Prompts et des Adaptateurs

L'apprentissage par prompts s'est avéré utile pour ajuster les modèles de texte figés. Nous avons étendu cette idée aux images en créant des composants adaptatifs qui apprennent à partir de données vidéo et textuelles simultanément. Bien que les méthodes précédentes aient exploré différentes variantes d'adaptation, notre approche cible spécifiquement les aspects uniques du contenu vidéo égocentrique.

#Modélisation Temporelle et Attention Spatiale

Pour capturer les nuances dans les vidéos égocentriques, nous avons développé un mécanisme d'attention qui se concentre sur des zones critiques autour des mains, où la plupart des interactions se produisent. Nous avons appliqué des techniques d'auto-attention pour garantir que le modèle mette efficacement en avant ces interactions tout en tenant compte des relations entre les images au fil du temps.

#Améliorations de Performance avec X-MIC

Le cadre X-MIC montre des améliorations significatives dans la reconnaissance d'actions fines lorsqu'il est testé à travers des ensembles de données. En se concentrant à la fois sur l'attention spatiale et temporelle, notre modèle a systématiquement surpassé d'autres dans la reconnaissance précise des actions, menant à de meilleures applications dans le monde réel.

#Détails de Mise en Œuvre

Notre approche utilise le modèle CLIP pré-entraîné. Pendant l'entraînement, nous mettons en œuvre des techniques spécifiques qui incluent l'ajustement des taux d'apprentissage et l'utilisation de différentes méthodes d'augmentation. Nous avons également employé un second encodeur visuel pour mieux capturer les nuances des vidéos égocentriques.

#Généralisation Zero-Shot

Une des caractéristiques marquantes de notre approche est sa capacité à effectuer une généralisation zero-shot. Cela signifie que les modèles peuvent faire des prédictions basées sur des classes qu'ils n'ont jamais rencontrées auparavant, une fonctionnalité critique pour des applications réelles où de nouvelles actions surgissent fréquemment.

#Évaluation Détailée sur les Ensembles de Données

Dans nos évaluations, nous avons catégorisé les classes en partagées et nouvelles en fonction de leur présence à travers les ensembles de données. Les résultats ont montré une forte performance dans la reconnaissance des actions partagées tout en maintenant une bonne généralisation aux classes nouvelles. Ces résultats mettent en lumière la robustesse du modèle à gérer de nouvelles situations.

#Comparaison avec les Méthodes de Pointe

Lorsqu'on compare notre méthode avec celles existantes, il devient évident que notre approche a un avantage clair. Les indicateurs de performance à travers les classes de noms et de verbes ont montré une amélioration constante, notamment dans la reconnaissance d'actions non rencontrées précédemment lors de l'entraînement du modèle.

#Limitations et Directions Futures

Bien que notre cadre montre une forte performance, il ne couvre pas les tâches de recherche textuelle sur vidéo. Les développements futurs viseront à explorer ces domaines pour créer des modèles plus complets capables de traiter une gamme plus large d'applications.

#Conclusion

Le cadre X-MIC représente un pas en avant significatif dans l'adaptation des modèles vision-langage pour la reconnaissance d'actions égocentriques. En injectant directement des informations de vidéos à la première personne dans la structure du modèle, nous réalisons des améliorations notables de performance à travers divers ensembles de données. La flexibilité de notre approche permet des ajustements faciles dans les architectures visuelles et garantit que le modèle se généralise mieux à de nouvelles actions, ouvrant la voie à d'autres avancées dans les applications réelles.