SoccerNet-GSR: Rastreando Atletas con Datos de Video

Rastrear e identificar a los atletas durante un partido de fútbol es importante para analizar varios aspectos del juego, como medir cuán lejos corren los jugadores o averiguar las estrategias del equipo. Este proceso es esencial para representar el estado del juego, que incluye las posiciones e identidades de los jugadores en un mapa 2D del campo, o minimapa. Sin embargo, obtener esta información de videos grabados con solo una cámara puede ser complicado. Involucra entender dónde están los jugadores y cómo está posicionada la cámara para localizarlos e identificarlos con precisión en el campo.

Para abordar este problema, hemos desarrollado un proyecto llamado SoccerNet-GSR, que significa Reconstrucción del Estado del Juego. Este nuevo conjunto de datos se centra en videos de fútbol y contiene secuencias de video que están anotadas con información detallada para rastrear a los jugadores. SoccerNet-GSR incluye clips de video de 30 segundos cada uno, con millones de puntos marcados para la localización del campo y la calibración de la cámara, así como posiciones de los atletas que incluyen su rol, equipo y número de camiseta. Además, hemos creado una nueva forma de medir el rendimiento de los métodos de reconstrucción del estado del juego llamada GS-HOTA. Finalmente, estamos proporcionando una línea base de código abierto para la reconstrucción del estado del juego para apoyar más investigaciones en esta área.

#Importancia del Rastreo de Atletas

Recientemente, ha habido un creciente interés por parte de las organizaciones deportivas en recopilar datos centrados en los atletas. Un área importante de enfoque es rastrear e identificar a los atletas durante el juego usando el metraje de video disponible. Esta información puede ser valiosa por muchas razones, incluyendo:

1. Ayudar a los entrenadores a mejorar el rendimiento del equipo y la formación de los atletas.
2. Apoyar a los cazatalentos en la búsqueda de nuevos jugadores.
3. Proporcionar información útil a los equipos médicos que trabajan con los atletas.
4. Involucrar a los aficionados con contenido personalizado.

Recopilar estos datos manualmente suele ser lento y costoso. Algunas alternativas utilizan sensores que requieren que los atletas usen equipos especiales, lo que puede ser caro. Más recientemente, los sistemas que utilizan múltiples cámaras se han vuelto populares, pero son costosos y difíciles de configurar, limitando su uso a eventos de alto perfil como la Copa del Mundo.

#Introducción a la Reconstrucción del Estado del Juego

Nuestro proyecto presenta una nueva tarea, conjunto de datos, métrica de evaluación y línea base específicamente para la Reconstrucción del Estado del Juego. El conjunto de datos SoccerNet-GSR ofrece identidades únicas para los jugadores junto con sus ubicaciones en el campo para una colección de secuencias de video. Las técnicas modernas de visión por computadora han abierto nuevas posibilidades para extraer datos precisos solo de las transmisiones de video. Se han utilizado métodos tradicionales, conocidos como Rastreos de Múltiples Objetos (MOT), en el análisis de videos deportivos. Sin embargo, no proporcionan toda la información necesaria para la identificación de jugadores y pueden ser difíciles de interpretar sin conexiones al juego real.

Para abordar estas lagunas, proponemos la Reconstrucción del Estado del Juego (GSR), un método que reconoce el estado de un partido de fútbol identificando y rastreando a todos los atletas basándose en videos de entrada de una sola cámara. El estado del juego puede ser representado visualmente en un minimapa, ofreciendo un resumen claro de lo que está sucediendo durante el partido.

Con el conjunto de datos SoccerNet-GSR, hemos marcado más de 9 millones de puntos para el registro del campo, junto con más de 2 millones de posiciones de atletas-completas con detalles como su rol, equipo y número de camiseta. Dado que las métricas existentes para evaluar los métodos de rastreo no se ajustan a nuestra tarea, introdujimos GS-HOTA, una métrica que mide de manera efectiva el rendimiento de los métodos GSR. Además, presentamos GSR-Baseline, el primer pipeline de código abierto de extremo a extremo para la reconstrucción del estado del juego basado en métodos avanzados de rastreo.

#Desafíos en la Reconstrucción del Estado del Juego

Nuestros experimentos iniciales destacan que GSR es un desafío difícil y abre nuevas avenidas para futuras investigaciones. El conjunto de datos y nuestro código están disponibles públicamente para que otros los utilicen en su investigación.

Rastrear a los atletas durante los eventos deportivos se ha convertido en un área importante de estudio, especialmente a medida que los equipos buscan maneras de recopilar datos detallados de rendimiento. Esta tarea incluye rastrear a los atletas a lo largo del juego, y los análisis recopilados de esto pueden beneficiar varias áreas, como la formación, el scouting, el apoyo médico y la interacción con los aficionados.

Sin embargo, generar estos datos manualmente puede ser un proceso que lleva tiempo, y las soluciones basadas en sensores pueden ser poco prácticas debido a la necesidad de equipos especializados. Recientemente, han surgido sistemas de rastreo automáticos que utilizan múltiples cámaras, pero a menudo son demasiado caros para su uso regular en deportes que no sean competiciones de élite.

#La Necesidad de un Nuevo Referente

A la luz de estos desafíos, introducimos una nueva tarea llamada Reconstrucción del Estado del Juego, que combina varias subtareas en una. El conjunto de datos SoccerNet-GSR permite el rastreo y la identificación de atletas junto con sus respectivos roles, equipos y números de camiseta. También creamos GS-HOTA para medir qué tan bien se desempeñan diferentes métodos en esta área.

El objetivo de GSR es extraer información relevante sobre el estado del juego de los videos. Esto incluye identificar las posiciones de todos los atletas, sus roles y sus números de camiseta. Los datos resultantes se pueden visualizar en un formato conciso de minimapa, proporcionando una visión clara de la dinámica del juego.

#Componentes de la Reconstrucción del Estado del Juego

La Reconstrucción del Estado del Juego consta de varios componentes clave:

1. Localización del Campo y Calibración de la Cámara: Esto implica determinar la disposición del campo de fútbol y entender los ajustes de la cámara utilizados durante las grabaciones.
2. Detección y Rastreo de Atletas: Reconocer dónde están todos los jugadores en el campo y seguir sus movimientos a lo largo del juego.
3. Clasificación y Reconocimiento de Roles: Distinguir entre diferentes roles como jugadores, porteros, árbitros y personal adicional.
4. Identificación de Equipo y Número de Camiseta: Asignar a cada atleta su respectivo equipo y reconocer los números de camiseta, cuando son visibles.

#Introducción al Conjunto de Datos SoccerNet-GSR

El conjunto de datos SoccerNet-GSR mejora los conjuntos de datos anteriores al incluir una variedad de anotaciones necesarias para la Reconstrucción del Estado del Juego. El conjunto de datos consiste en una colección de clips de video de 30 segundos capturados desde una sola cámara en movimiento, donde solo se ven secciones del campo de fútbol en cualquier momento. Los datos proporcionan información valiosa sobre la disposición del campo, ajustes de la cámara y posiciones de los atletas.

Para crear este conjunto de datos, anotamos las líneas del campo manualmente colocando puntos a lo largo de los bordes y curvas. También rastreamos estos puntos a lo largo del tiempo para mantener la consistencia. La calibración de la cámara es una parte crucial del proceso, ya que ayuda a conectar las imágenes de video con ubicaciones del mundo real en el campo.

#Identificación de Atletas en SoccerNet-GSR

Para identificar a los jugadores durante el juego, utilizamos una combinación de anotaciones manuales que indican el rol, equipo y número de camiseta de cada atleta. Clasificamos a los atletas en roles como 'jugador', 'portero', 'árbitro' y 'otro' para cualquier otra persona involucrada en el juego, como entrenadores o personal médico.

Para los números de camiseta, se les asigna un número a los jugadores si es visible en al menos un fotograma, de lo contrario, reciben una designación de 'nulo'. También se incluye un ID de seguimiento para ayudar a identificar a los atletas cuando sus atributos no son suficientes.

#La Métrica de Evaluación GS-HOTA

La métrica GS-HOTA funciona de manera diferente a los métodos de evaluación estándar utilizados en el rastreo de múltiples objetos. Considera atributos adicionales para evaluar qué tan bien un método GSR realizó el rastreo y la identificación de todos los atletas en el campo.

Las diferencias con respecto a las métricas tradicionales hacen que GS-HOTA sea especialmente adecuada para GSR, ya que evalúa la precisión basada en datos de posición e incluye la identificación de atributos de los jugadores. Esta métrica es vital para medir el rendimiento del método GSR y proporciona un análisis exhaustivo de la tarea en cuestión.

#Construyendo el Marco GSR-Baseline

Para facilitar el estudio de la tarea de Reconstrucción del Estado del Juego, desarrollamos GSR-Baseline, un pipeline que procesa la entrada de video y genera el estado completo del juego. El marco descompone la tarea en partes más pequeñas, utilizando varios métodos de vanguardia para cada componente.

El GSR-Baseline toma las imágenes de entrada y las pasa a través de un detector de objetos y un modelo de localización de campo. Los resultados se procesan para producir una salida final que rastrea e identifica a cada atleta y sus respectivos detalles.

#Resultados y Hallazgos

A través de nuestros experimentos y análisis, demostramos que el GSR-Baseline logra un buen rendimiento en el conjunto de datos SoccerNet-GSR. Destacamos la necesidad de cada módulo y mostramos cómo impactan en los resultados generales. Componentes clave, como la localización del campo y el reconocimiento del número de camiseta, se identificaron como áreas que requieren más mejora.

Los resultados indican que, aunque cada tarea dentro de GSR puede ser un desafío por sí sola, integrarlas presenta una nueva capa de complejidad que requiere investigación continua.

#Conclusión

En resumen, nuestro trabajo introduce el primer referente de Reconstrucción del Estado del Juego para identificar y rastrear a los atletas en un campo de fútbol. Proporcionamos un nuevo conjunto de datos, métrica de evaluación y un marco de código abierto destinado a apoyar la investigación en este área. Al establecer un pipeline completo que genera datos de juego de alto nivel, buscamos ayudar en diversas aplicaciones para entrenadores, cazatalentos, personal médico y aficionados por igual.

La complejidad de la tarea GSR, junto con las interconexiones entre sus diversos componentes, enfatiza la necesidad de esfuerzos continuos para mejorar los modelos existentes y desarrollar sistemas más eficientes para el análisis en tiempo real. Esperamos ver cómo la investigación futura se basa en esta fundación, enfocándose en mejorar módulos específicos, lograr rastreo en tiempo real y emplear métodos de extremo a extremo para un flujo de trabajo sin interrupciones.