Faire avancer la reconnaissance des actions au foot avec SoccerKDNet

Reconnaître les actions dans les vidéos de foot, c'est super compliqué, surtout quand on parle d'analyse sportive. Ces dernières années, l'analytics sportif est devenu hyper important, ce qui rend nécessaire de classifier les actions des joueurs pendant un match. Mais la plupart des méthodes avancées utilisent des systèmes hors ligne compliqués, ce qui les rend difficiles à utiliser quand les ressources sont limitées.

Pour régler ce problème, on propose un nouveau cadre appelé SoccerKDNet. Ce cadre est basé sur une méthode appelée Distillation de connaissances, qui aide à transférer l'apprentissage d'un modèle à un autre. L'objectif principal de cette recherche est de créer un système facile à utiliser qui peut analyser efficacement les vidéos de foot.

#Introduction au dataset SoccerDB1

On présente aussi un nouveau dataset nommé SoccerDB1, qui comprend 448 clips vidéo montrant des actions de foot. Ces vidéos se répartissent en quatre classes d'action : Dribble, Tir, Course et Marche. Chacune de ces classes contient plus de 70 clips vidéo. Les clips vidéo sont tirés de matchs diffusés publiquement sur YouTube, chacun ayant un nombre uniforme de frames.

#Pourquoi la Reconnaissance d'actions est importante

La reconnaissance d'actions dans le foot est importante pour comprendre les mouvements des joueurs et la dynamique du jeu. Les systèmes existants nécessitent souvent un effort manuel, où les gens suivent chaque détail du match. D'autres s'appuient sur des réseaux hors ligne qui analysent les matchs seulement après leur fin. Avec l'avancée de la technologie, les méthodes de deep learning ont prouvé qu'elles surpassaient les méthodes traditionnelles en termes de performance.

Cependant, il y a des défis à l'utilisation de ces Modèles avancés. Ils sont généralement entraînés sur de grands datasets, comme ImageNet, et peuvent mal performer face à des données spécifiques au foot. Cela crée un fossé entre les données d'entraînement du modèle et l'application réelle dans les matchs de foot. D'où l'importance de développer des modèles adaptés aux données de foot ou de les peaufiner en utilisant des datasets spécifiques aux sports.

#Enquête sur les méthodes existantes

En regardant les recherches précédentes, on a trouvé qu'il y avait peu de travaux centrés sur la reconnaissance des actions dans les vidéos de foot. L'un des rares datasets publics est le benchmark Soccernet v2, sorti récemment. Beaucoup de tentatives pour classifier les actions de foot ont mis l'accent sur des tâches spécifiques, comme localiser des événements, plutôt que sur une classification large. Donc, le dataset SoccerDB1 et le cadre SoccerKDNet visent à faire avancer la recherche dans la reconnaissance d'actions de foot.

#Aperçu de SoccerKDNet

SoccerKDNet est conçu pour classifier les actions vues dans les vidéos de foot. Le réseau utilise une architecture spécifique qui inclut un composant appelé le Module Adaptatif Temporel (TAM), qui travaille avec ResNet-50 et ResNet-101. L'architecture inclut aussi des couches entièrement connectées pour aider le modèle à apprendre efficacement. On appelle cette configuration le 'jointnet'.

Dans nos expériences, on utilise un autre modèle, ResNet-18, comme le réseau étudiant. Le 'jointnet' fonctionne comme le modèle enseignant et est initialement entraîné sur le dataset Soccer. On utilise un échantillonnage uniforme des frames vidéo, une technique connue pour donner de meilleurs résultats.

#Fonctions de perte et processus d'entraînement

Dans l'entraînement de SoccerKDNet, on utilise différentes fonctions de perte pour améliorer la Précision. La perte d'entropie croisée est couramment utilisée, ainsi que la perte de divergence de KullBack-Liebler et la perte de distillation de connaissances. Ces fonctions de perte aident le modèle à apprendre efficacement et à améliorer ses prédictions en fonction des vidéos d'entrée.

Pour entraîner, on commence par faire fonctionner le jointnet sur le dataset Soccer pendant 100 époques avec une certaine taille de lot et fonction de perte. Après cela, on entraîne le modèle étudiant, ResNet-18, pendant une période plus longue avec des ajustements spécifiques pour améliorer la performance. Tous les frames vidéo sont redimensionnés et traités pour maintenir la cohérence pendant l'entraînement.

#Analyse de performance et de précision

Après l'entraînement, on évalue la performance de notre modèle en utilisant des métriques de précision. L'accent est mis sur la précision Top-1, qui mesure si la première prédiction du modèle correspond à l'action réelle. Une vidéo de foot est considérée comme correctement classifiée si les prédictions pour la moitié ou plus de ses frames s'alignent avec les véritables étiquettes.

On a constaté qu'en utilisant le modèle pré-entraîné sans ajustements, on avait une faible précision de 7,7 %. Mais après un bon entraînement avec le modèle étudiant, on a atteint une précision de 67,20 %, indiquant l'efficacité de notre méthode.

#Comparaisons avec d'autres modèles

En comparant SoccerKDNet avec les modèles existants, notre cadre a montré de meilleurs résultats dans la reconnaissance des actions dans les vidéos de foot. Les modèles précédents s'appuyaient souvent sur de grands datasets d'images qui ne prenaient pas en compte les caractéristiques uniques des vidéos de foot. Notre dataset se concentre spécifiquement sur les données vidéo, ce qui permet une classification plus précise par rapport aux modèles entraînés uniquement sur des images.

#Inquiétudes sur le surapprentissage

Un défi qu'on a rencontré était le risque de surapprentissage, qui se produit lorsqu'un modèle performe bien sur les données d'entraînement mais mal sur de nouvelles données non vues. Comme notre dataset de fine-tuning (SoccerDB1) est plus petit, on a pris des précautions pour éviter ce problème. On a utilisé des techniques de régularisation comme la Normalisation par Lots et des couches de dropout pour maintenir la capacité du modèle à généraliser.

#Métriques d'évaluation et résultats

Tous les résultats rapportés dans nos expériences sont mesurés par la précision Top-1 sur plusieurs essais. La structure de notre modèle nous a permis de garder le nombre de paramètres bas, ce qui le rend adapté aux applications en temps réel, contrairement à certains anciens modèles qui nécessitaient d'énormes ressources computationnelles.

Nos expériences ont montré que même avec une architecture plus simple, comme ResNet-18, on pouvait atteindre des niveaux de précision respectables. C'est important pour les usages pratiques où les limitations matérielles sont un facteur.

#Mini étude d'ablation

Dans le cadre de notre recherche, on a réalisé une mini étude d'ablation pour analyser divers facteurs influençant la performance du modèle. On a testé différents réseaux de base, étapes de distillation de connaissances, et ajustements du module frontnet et des hyperparamètres.

À travers cette évaluation, on a trouvé que le modèle de base TAM-ResNet101 fournissait les meilleurs résultats pour les modèles enseignants et étudiants. De plus, appliquer la distillation tôt dans le processus d'entraînement a montré de mauvaises performances, nous conduisant à privilégier les méthodes de distillation en fin de formation.

#Directions futures

À l'avenir, on prévoit d'élargir le dataset SoccerDB1 en ajoutant plus de classes d'action. On espère aussi utiliser SoccerKDNet pour détecter des événements dans le foot basés sur les actions des joueurs. Cela aiderait les entraîneurs et analystes à obtenir de meilleures idées sur les performances des joueurs et à améliorer les stratégies d'équipe pendant les matchs.

#Conclusion

En résumé, on a développé un nouveau dataset, SoccerDB1, et introduit le cadre SoccerKDNet pour reconnaître les actions dans les vidéos de foot. En utilisant la distillation de connaissances, on a atteint une précision notable de 67,20 % dans la reconnaissance d'actions. Notre travail vise à contribuer de manière significative au domaine de l'analytics sportif et à améliorer la compréhension des actions des joueurs pendant les matchs de foot.