SoccerNet-GSR : Suivi des athlètes avec des données vidéo

Suivre et identifier les athlètes pendant un match de foot, c'est super important pour analyser plein de trucs, comme mesurer la distance parcourue par les joueurs ou comprendre les stratégies d'équipe. Ce processus est essentiel pour représenter l'état du jeu, qui inclut les positions et identités des joueurs sur une carte 2D du terrain, ou une minimap. Mais récupérer ces infos à partir de vidéos enregistrées avec une seule caméra, c'est pas évident. Ça demande de capter où sont les joueurs et comment la caméra est placée pour les localiser et les identifier correctement sur le terrain.

Pour régler ce problème, on a développé un projet appelé SoccerNet-GSR, qui veut dire Reconstruction de l'état du jeu. Ce nouveau dataset se concentre sur des vidéos de foot et contient des séquences vidéo annotées avec des infos détaillées pour le suivi des joueurs. SoccerNet-GSR inclut des clips vidéo de 30 secondes, avec des millions de points marqués pour la localisation du terrain et l'étalonnage de la caméra, ainsi que les positions des athlètes, en précisant leur rôle, leur équipe et leur numéro de maillot. En plus, on a créé une nouvelle méthode pour mesurer la performance des méthodes de reconstruction d'état de jeu appelée GS-HOTA. Enfin, on fournit une base open-source pour la reconstruction de l'état du jeu afin de soutenir la recherche dans ce domaine.

#Importance du Suivi des Athlètes

Récemment, les organisations sportives s'intéressent de plus en plus à la collecte de données centrées sur les athlètes. Un domaine majeur d'intérêt est de suivre et identifier les athlètes pendant le match à partir des vidéos disponibles. Ces infos peuvent être précieuses pour plusieurs raisons, notamment :

1. Aider les entraîneurs à améliorer la performance de l'équipe et l'entraînement des athlètes.
2. Aider les recruteurs à dénicher de nouveaux joueurs.
3. Fournir des insights utiles aux équipes médicales qui travaillent avec les athlètes.
4. Engager les fans avec un contenu personnalisé.

Collecter ces données manuellement, c'est souvent lent et coûteux. Certaines alternatives utilisent des capteurs qui obligent les athlètes à porter un équipement spécial, ce qui peut coûter très cher. Plus récemment, des systèmes qui utilisent plusieurs caméras ont gagné en popularité, mais ils sont coûteux et difficiles à installer, limitant leur usage aux événements de haut niveau comme la Coupe du Monde.

#Présentation de la Reconstruction de l'État du Jeu

Notre projet présente une nouvelle tâche, un dataset, une métrique d'évaluation et une base spécifique pour la Reconstruction de l'État du Jeu. Le dataset SoccerNet-GSR offre des identités uniques pour les joueurs ainsi que leurs emplacements sur le terrain pour une série de séquences vidéo. Les techniques modernes de vision par ordinateur ont ouvert de nouvelles possibilités pour extraire des données précises uniquement à partir de flux vidéo. Les méthodes traditionnelles, connues sous le nom de Suivi Multi-Objets (MOT), ont été utilisées dans l'analyse vidéo sportive. Cependant, elles ne fournissent pas toutes les informations nécessaires pour l'identification des joueurs et peuvent être compliquées à interpréter sans liens avec le jeu réel.

Pour combler ces lacunes, on propose la Reconstruction de l'État du Jeu (GSR), une méthode qui reconnaît l'état d'un match de foot en identifiant et suivant tous les athlètes à partir de vidéos d'entrée d'une seule caméra. L'état du jeu peut être représenté visuellement sur une minimap, offrant un résumé clair de ce qui se passe pendant le match.

Avec le dataset SoccerNet-GSR, on a marqué plus de 9 millions de points pour l'enregistrement du terrain, ainsi que plus de 2 millions de positions d'athlètes, avec des détails comme leur rôle, leur équipe et leur numéro de maillot. Comme les métriques existantes pour évaluer les méthodes de suivi ne conviennent pas à notre tâche, on a introduit GS-HOTA, une métrique qui mesure efficacement la performance des méthodes GSR. De plus, on présente GSR-Baseline, le premier pipeline open-source de bout en bout pour la reconstruction de l'état du jeu basé sur des méthodes de suivi avancées.

#Défis de la Reconstruction de l'État du Jeu

Nos expériences initiales montrent que GSR est un vrai défi et ouvre de nouvelles perspectives pour la recherche future. Le dataset et notre code sont disponibles publiquement pour que d'autres puissent les utiliser dans leurs recherches.

Suivre les athlètes pendant des événements sportifs est devenu un domaine d'étude important, surtout que les équipes cherchent des moyens de recueillir des données de performance détaillées. Cette tâche comprend le suivi des athlètes tout au long du match, et les analyses recueillies peuvent bénéficier à divers domaines, comme l'entraînement, le scouting, le soutien médical et l'engagement des fans.

Cependant, générer ces données manuellement peut être chronophage, et les solutions basées sur des capteurs peuvent être impraticables à cause du besoin d'équipement spécialisé. Récemment, des systèmes de suivi automatiques utilisant plusieurs caméras ont émergé, mais ces derniers sont souvent trop chers pour un usage régulier dans des sports autres que les compétitions d'élite.

#Le Besoin d'un Nouveau Standard

Face à ces défis, on introduit une nouvelle tâche appelée Reconstruction de l'État du Jeu, qui combine plusieurs sous-tâches en une seule. Le dataset SoccerNet-GSR permet de suivre et d'identifier les athlètes ainsi que leurs rôles, équipes et numéros de maillot respectifs. On a aussi créé GS-HOTA pour mesurer les performances de différentes méthodes dans ce domaine.

L'objectif de GSR est d'extraire des infos pertinentes sur l'état du jeu à partir des vidéos. Cela inclut identifier les positions de tous les athlètes, leurs rôles et leurs numéros de maillot. Les données résultantes peuvent être visualisées sous un format minimap concis, offrant un aperçu clair de la dynamique du jeu.

#Composants de la Reconstruction de l'État du Jeu

La Reconstruction de l'État du Jeu se compose de plusieurs éléments clés :

1. Localisation du Terrain et Calibration de la Caméra : Cela consiste à déterminer la configuration du terrain de foot et comprendre les réglages de la caméra utilisés lors des enregistrements.
2. Détection et Suivi des Athlètes : Reconnaître où sont tous les joueurs sur le terrain et suivre leurs mouvements tout au long du match.
3. Classification et Reconnaissance des Rôles : Distinguer les différents rôles comme joueurs, gardiens de but, arbitres et personnel additionnel.
4. Identification de l'Équipe et du Numéro de Maillot : Assigner chaque athlète à son équipe respective et reconnaître les numéros de maillot, quand ils sont visibles.

#Introduction au Dataset SoccerNet-GSR

Le dataset SoccerNet-GSR améliore les datasets précédents en incluant une variété d'annotations nécessaires pour la Reconstruction de l'État du Jeu. Le dataset consiste en une collection de clips vidéo de 30 secondes capturés à partir d'une seule caméra en mouvement, où seules certaines sections du terrain de foot sont visibles à tout moment. Les données fournissent des infos précieuses sur la configuration du terrain, les réglages de la caméra et les positions des athlètes.

Pour créer ce dataset, on a annoté les lignes du terrain manuellement en plaçant des points le long des bords et des courbes. On a aussi suivi ces points au fil du temps pour maintenir la cohérence. La calibration de la caméra est une partie cruciale du processus, car elle aide à relier les images vidéo à des emplacements réels sur le terrain.

#Identification des Athlètes dans SoccerNet-GSR

Pour identifier les joueurs pendant le match, on utilise une combinaison d'annotations manuelles qui indiquent le rôle, l'équipe et le numéro de maillot de chaque athlète. On catégorise les athlètes en rôles comme 'joueur', 'gardien de but', 'arbitre' et 'autre' pour toute autre personne impliquée dans le match, comme les entraîneurs ou le personnel médical.

Pour les numéros de maillot, les joueurs reçoivent un numéro s'il est visible dans au moins un cadre, sinon ils reçoivent une désignation 'null'. Un ID de suivi est aussi inclus pour aider à identifier les athlètes quand leurs attributs ne sont pas suffisants.

#La Métrique d'Évaluation GS-HOTA

La métrique GS-HOTA fonctionne différemment des méthodes d'évaluation standard utilisées dans le suivi multi-objets. Elle considère des attributs supplémentaires pour évaluer à quel point une méthode GSR a bien performé dans le suivi et l'identification de tous les athlètes sur le terrain.

Les différences avec les métriques traditionnelles font que GS-HOTA est particulièrement adaptée pour GSR, car elle évalue l'exactitude sur la base des données de position et inclut l'identification des attributs des joueurs. Cette métrique est essentielle pour mesurer la performance des méthodes GSR et fournit une analyse approfondie de la tâche en question.

#Construction du Cadre GSR-Baseline

Pour faciliter l'étude de la tâche de Reconstruction de l'État du Jeu, on a développé GSR-Baseline, un pipeline qui traite l'entrée vidéo et génère l'état complet du jeu. Le cadre divise la tâche en parties plus petites, utilisant diverses méthodes à la pointe de la technologie pour chaque composant.

Le GSR-Baseline prend les images d'entrée et les passe par un détecteur d'objets et un modèle de localisation du terrain. Les résultats sont traités pour produire une sortie finale qui suit et identifie chaque athlète et ses détails respectifs.

#Résultats et Conclusions

À travers nos expériences et analyses, on démontre que le GSR-Baseline obtient de bonnes performances sur le dataset SoccerNet-GSR. On souligne la nécessité de chaque module et montre comment ils impactent les résultats globaux. Des composants clés, comme la localisation du terrain et la reconnaissance des numéros de maillot, ont été identifiés comme des zones nécessitant des améliorations.

Les résultats indiquent que même si chaque tâche au sein de GSR peut être difficile à elle seule, les intégrer présente une nouvelle couche de complexité qui nécessite des recherches continues.

#Conclusion

Pour résumer, notre travail introduit le premier standard de Reconstruction de l'État du Jeu pour identifier et suivre les athlètes sur un terrain de foot. On fournit un nouveau dataset, une métrique d'évaluation, et un cadre open-source visant à soutenir la recherche dans ce domaine. En standardisant un pipeline complet qui sort des données de jeu de haut niveau, on espère aider diverses applications pour les entraîneurs, les recruteurs, le personnel médical, et les fans.

La complexité de la tâche GSR, ainsi que les interconnexions entre ses différents composants, soulignent le besoin d'efforts continus pour améliorer les modèles existants et développer des systèmes plus efficaces pour l'analyse en temps réel. On est impatient de voir comment les recherches futures s'appuieront sur cette fondation, en se concentrant sur l'amélioration de modules spécifiques, l'atteinte d'un suivi en temps réel, et l'utilisation de méthodes de bout en bout pour un flux de travail sans accroc.