Présentation de SportsMOT : Un nouveau dataset pour suivre les joueurs dans le sport

Suivre plusieurs objets dans des scènes sportives est super important pour collecter des statistiques sur les joueurs et aider à l'analyse tactique. Mais, les datasets actuels pour le suivi de plusieurs objets ne se concentrent pas vraiment sur le sport, ce qui freine les progrès dans ce domaine. Dans cet article, on vous présente un nouveau dataset appelé SportsMOT, conçu spécialement pour suivre les joueurs dans différents environnements sportifs.

#Aperçu de SportsMOT

SportsMOT contient une énorme quantité de données, avec 240 séquences vidéo, plus de 150 000 images et plus de 1,6 million de boîtes englobantes, en se concentrant sur trois sports : basket, volley et foot. Ce dataset a des caractéristiques uniques, comme des joueurs très rapides et des Apparences similaires mais identifiables. Ça permet aux chercheurs d'améliorer les systèmes de suivi qui s'appuient à la fois sur le mouvement et sur l'apparence.

#Importance du Suivi multi-objets

Le suivi multi-objets est une tâche clé en vision par ordinateur depuis longtemps. Ça implique de trouver et relier des objets dans des séquences vidéo. Les travaux précédents dans ce domaine se sont surtout concentrés sur des environnements comme les rues animées ou des scènes de danse, mais le sport n’a pas reçu assez d’attention. Suivre les joueurs pendant les matchs peut aider à collecter des données comme la distance parcourue et la vitesse moyenne, ce qui est utile pour analyser la performance des joueurs.

#Propriétés de SportsMOT

SportsMOT se distingue pour deux raisons principales : les joueurs se déplacent rapidement et leurs apparences sont similaires mais peuvent être distinguées. La vitesse des joueurs peut changer pendant le match, rendant le suivi difficile. De plus, bien que les joueurs portent des uniformes qui se ressemblent, ils ont des numéros différents et affichent souvent des postures uniques. Ce dataset encourage le développement de systèmes de suivi qui peuvent mieux gérer à la fois le suivi basé sur le mouvement et celui basé sur l'apparence.

#Défis du Suivi Sportif

Les systèmes de suivi existants ont du mal quand on les applique à des scènes sportives. La plupart des technologies de suivi sont développées pour suivre des personnes dans des environnements relativement calmes, comme des piétons dans la rue. Cependant, le sport implique des Mouvements dynamiques et des vitesses rapides, ce qui peut rendre difficile de suivre les joueurs. Par exemple, les méthodes traditionnelles qui supposent un mouvement linéaire pourraient ne pas fonctionner efficacement dans l'environnement rapide d'un match de basket.

#Collecte et Annotation des Données

Pour créer SportsMOT, on a collecté des séquences vidéo de haute qualité provenant de ligues sportives bien connues, comme la NCAA, la Premier League et les Jeux Olympiques. Chaque vidéo est soigneusement choisie pour montrer des formations et des schémas de mouvements typiques des joueurs. La collection se concentre sur des prises de vue aériennes pour éviter les complications causées par des changements de points de vue soudains.

Le processus d'annotation est rigoureux. Les membres et le torse de chaque joueur sont étiquetés, avec des ID uniques attribués pour éviter toute confusion dans la vidéo. Même quand un joueur est partiellement caché, les annotateurs tentent de marquer leurs positions aussi précisément que possible en fonction des parties visibles de leur corps.

#Statistiques du Dataset

SportsMOT est parmi les plus grands et les plus détaillés des datasets de suivi multi-objets disponibles, offrant des annotations précises pour chaque joueur sur le terrain. Le dataset est divisé en ensembles d’entraînement, de validation et de test, assurant une approche complète pour développer des systèmes de suivi.

#Mouvement Rapide et Vitesse Variable

La rapidité et les vitesses changeantes des joueurs sont des caractéristiques fondamentales du sport qui diffèrent de ce qui est généralement vu dans d'autres datasets. En général, les gens dans des datasets comme MOT17 et MOT20 se déplacent à un rythme constant, rendant le suivi plus simple. Dans le sport, les joueurs se déplacent souvent rapidement et peuvent changer de vitesse de manière abrupte, créant un environnement complexe pour les systèmes de suivi.

#Apparence Similaire mais Distinguable

Dans le sport, bien que les joueurs portent des maillots similaires, ils peuvent être identifiés par leurs numéros uniques et leurs styles de jeu. Cette différence permet un meilleur suivi comparé à des datasets où les objets sont presque indiscernables. Les recherches montrent que les systèmes de suivi doivent apprendre à différencier les objets sur la base de ces petites différences d'apparence.

#Métriques d'Évaluation de Performance

Pour évaluer la performance des méthodes de suivi sur SportsMOT, on propose plusieurs métriques en plus des standards habituels. On souligne l'importance de mesurer à la fois la précision de détection et la façon dont l'association entre différentes images est maintenue. Cette approche donne une vue plus claire de la performance d'un système de suivi.

#Présentation du Cadre MixSort

Pour résoudre les défis identifiés, on a développé un nouveau cadre de suivi appelé MixSort. Ce système combine des stratégies de suivi basées sur le mouvement et l'apparence, permettant une meilleure performance dans des scènes sportives. MixSort fonctionne avec des trackers de pointe existants, améliorant leur capacité à associer les objets détectés entre les images.

#Comment Fonctionne MixSort

MixSort utilise un réseau spécial appelé MixFormer pour analyser les similitudes entre les joueurs suivis et les objets nouvellement détectés. Cette approche permet au tracker de tirer parti des apparences et des prévisions de mouvement pour améliorer la performance globale.

Le processus d'entraînement pour MixSort implique d'adapter les systèmes de suivi existants pour qu'ils fonctionnent plus efficacement avec les caractéristiques uniques des données sportives. En combinant les informations des modèles de mouvement avec les similitudes d'apparence, MixSort offre une solution de suivi plus robuste.

#Résultats Expérimentaux

On a mené des expériences approfondies en utilisant divers systèmes de suivi pour voir comment ils ont performé sur le dataset SportsMOT. Différentes méthodes ont été testées dans les mêmes conditions, et les résultats ont montré que certains systèmes s'amélioraient considérablement en utilisant MixSort. Les résultats suggèrent qu'incorporer des informations à la fois sur le mouvement et l'apparence mène à de meilleurs résultats de suivi.

#Comparaisons Détaillées

Les études comparatives mettent en lumière l'efficacité de MixSort dans divers contextes sportifs. Les matchs de basket, à cause de leur nature rapide et en contact, présentent le plus de défis en matière de suivi. En contraste avec le foot et le volley, où les schémas de mouvement et l'espacement permettent un suivi légèrement plus facile.

#Perspectives sur le Suivi Sportif

À travers nos expériences, on a gagné des insights sur comment différents sports présentent des défis uniques pour les systèmes de suivi. Le degré d'interaction physique, la taille du terrain et le rythme du jeu contribuent tous à la difficulté de suivre les joueurs avec précision. Par exemple, les espaces plus rapprochés et les niveaux d'activité plus élevés dans le basket entraînent plus d'occlusions comparé au foot.

#Conclusion

En résumé, SportsMOT fournit un nouveau dataset vaste conçu spécifiquement pour le suivi multi-objets dans les environnements sportifs. Il met en avant les défis uniques impliqués, comme les joueurs rapides et leurs apparences similaires. Grâce à l'introduction du cadre MixSort, on vise à améliorer les techniques de suivi en combinant efficacement l'analyse du mouvement avec la reconnaissance de l’apparence.

Ce travail espère poser les bases pour de futures avancées tant dans la technologie de suivi que dans l'analyse de la performance sportive, offrant une ressource qui encourage une exploration plus poussée dans ce domaine crucial.