Fortschritte in der Fussball-Videoanalyse: Ergebnisse von SoccerNet 2023

Die SoccerNet 2023 Herausforderungen wurden entwickelt, um das Verständnis von Fussballvideos durch verschiedene Aufgaben zu verbessern. Diese Aufgaben sind in drei Hauptbereiche unterteilt: Verständnis von Broadcast-Videos, Verständnis des Spielfelds und Verständnis der Spieler. Die Teilnehmer arbeiteten an sieben Aufgaben, die erforschten, wie man Fussballvideos besser analysieren kann.

#Verständnis von Broadcast-Videos

Dieser Bereich konzentrierte sich auf das Verständnis der Ereignisse in Fussballübertragungen. Es gab drei Hauptaufgaben:

1. Aktionsentdeckung: Ziel dieser Aufgabe war es, die genauen Momente zu finden, in denen bedeutende Aktionen im Spiel stattfinden, wie z.B. wenn ein Spieler ein Tor erzielt oder eine gelbe Karte erhält. Die Teilnehmer verwendeten einen Datensatz, der aus mehreren Fussballspielen mit vielen kategorisierten Aktionen bestand.

2. Ballaktionsentdeckung: Diese neue Aufgabe zielte darauf ab, spezifische Momente im Zusammenhang mit dem Ball zu finden, wie z.B. wenn ein Spieler den Ball passt oder kontrolliert. Die Herausforderung beinhaltete schnell ablaufende Ereignisse, die präzise Erkennung erforderten.

3. Dichte Videobeschriftung: Diese Aufgabe bestand darin, natürliche Sprachbeschreibungen der Spielereignisse zu bestimmten Zeiten in einem Video zu erstellen. Die Teilnehmer mussten ansprechende Beschreibungen erstellen, die zum Videoinhalt passten.

#Verständnis des Spielfelds

In diesem Bereich gab es nur eine Aufgabe:

4. Kamerakalibrierung: Diese Aufgabe konzentrierte sich auf die Schätzung von Kameraparametern aus Bildern, um das Verständnis darüber zu verbessern, wie Videomaterial aufgenommen wird. Die Herausforderung erforderte von den Teilnehmern, verschiedene Techniken zu nutzen, um die Kameraeinstellungen genau zu bestimmen.

#Verständnis der Spieler

Dieser Bereich umfasste drei Aufgaben, die sich auf die Analyse der Spieler während der Spiele konzentrierten:

5. Wiedererkennung der Spieler: In dieser Aufgabe versuchten die Teilnehmer, Spieler über verschiedene Kameraperspektiven hinweg während eines Spiels zuzuordnen. Das war herausfordernd, da die Spieler oft ähnlich aussahen, was es schwierig machte, sie auseinanderzuhalten.

6. Verfolgung mehrerer Spieler: Die Teilnehmer sollten mehrere Spieler und den Ball während des Spiels verfolgen. Sie mussten ein System erstellen, das diese Objekte erkennen und verfolgen konnte, selbst wenn sie den Rahmen verliessen oder verdeckt waren.

7. Erkennung der Rückennummer: Diese Aufgabe bestand darin, die Rückennummern der Spieler aus kurzen Videoausschnitten zu identifizieren. Die Herausforderung war schwierig aufgrund unscharfer Bilder und eingeschränkter Sichtbarkeit der Nummern.

#Verbesserungen und neue Aufgaben

Die Herausforderungen in diesem Jahr führten im Vergleich zu früheren Ausgaben neue Aufgaben und Daten ein. Neuartige Aufgaben wie Ballaktionsentdeckung, dichte Videobeschriftung und Rückennummernerkennung erforderten neue Annotationen und Ansätze. Bestehende Aufgaben wie Kamerakalibrierung und Aktionsentdeckung wurden mit mehr Daten und verfeinerten Techniken aktualisiert, was den Fortschritt im Bereich des Videoverständnisses widerspiegelt.

#Ergebnisse der Herausforderungen

Die Ergebnisse von SoccerNet 2023 zeigten signifikante Verbesserungen in der Leistung der verschiedenen Methoden, die von den Teilnehmern verwendet wurden. In der Aktionsentdeckung erzielten viele Teams beispielsweise bessere Ergebnisse als im letzten Jahr. Ebenso zeigten die Teilnehmer bei der Ballaktionsentdeckung und dichten Videobeschriftung innovative Lösungen, um die komplexe Natur dieser Aufgaben zu bewältigen.

#Details zur Aktionsentdeckung

#Aufgabenbeschreibung

Bei der Aktionsentdeckung lokalisierten die Teilnehmer spezifische Zeitstempel, an denen Aktionen stattfanden. Der Datensatz, der für das Training verwendet wurde, umfasste verschiedene Spiele und Aktionskategorien. Die Teams wurden aufgrund ihrer Fähigkeit bewertet, die genauen Momente vorherzusagen, an denen Aktionen stattfanden, mithilfe einer Average-mAP-Metrik.

#Ergebnisse

In diesem Jahr nahmen eine erhebliche Anzahl von Teams teil, von denen einige beeindruckende Ergebnisse erzielten. Das siegreiche Team schlug eine Methode vor, die mehrere Encoder und ein Feature-Pyramid-Netzwerk nutzte, um verschiedene Aktionsdynamiken zu erfassen, und zeigte somit die Fortschritte beim Erfassen von Aktionsinstanzen in Videos.

#Details zur Ballaktionsentdeckung

#Aufgabenbeschreibung

Die Ballaktionsentdeckung zielte darauf ab, den genauen Moment zu identifizieren, an dem Aktionen im Zusammenhang mit dem Fussball, insbesondere Passen und Fahren, stattfanden. Die Aufgabe beinhaltete die Arbeit mit einem Datensatz, der verschiedene Spielausschnitte enthielt.

#Ergebnisse

Diese neue Aufgabe beleuchtete mehrere Herausforderungen, wie die schnelle Natur der Ereignisse und einen begrenzten Datensatz. Die Teilnehmer experimentierten mit verschiedenen architektonischen Designs und Datenverbesserungen, was zu bemerkenswerten Verbesserungen in der Leistung führte. Das siegreiche Team beschrieb eine Architektur, die 2D- und 3D-Convolutional-Layer mit einem mehrstufigen Trainingsprozess kombinierte.

#Details zur dichten Videobeschriftung

#Aufgabenbeschreibung

Teilnehmer dieser Aufgabe mussten Beschriftungen für Videoereignisse erstellen, indem sie die richtigen Momente entdeckten und Sätze formulierten, die das Spiel beschrieben. Der Datensatz umfasste zahlreiche zeitgestempelte Kommentare, die als Leitfaden für die Bewertung dienten.

#Ergebnisse

Der Wettbewerb in dieser Aufgabe war hart, da nur wenige Teams es schafften, ihre Ergebnisse rechtzeitig einzureichen. Der Ansatz des siegreichen Teams beinhaltete die Nutzung eines modifizierten Rahmens, um Merkmale effektiv zu extrahieren und qualitativ hochwertige Beschriftungen zu generieren, was die Anpassungsfähigkeit der Techniken an neue Herausforderungen widerspiegelt.

#Details zur Kamerakalibrierung

#Aufgabenbeschreibung

In dieser Aufgabe schätzten die Teilnehmer die Kameraparameter aus Bildern, um das Verständnis darüber zu verbessern, wie das Spiel aufgenommen wird. Der Datensatz hatte zahlreiche Bilder mit hinzugefügten Annotationen aus früheren Herausforderungen.

#Ergebnisse

Die Bewertung basierte auf dem Reprojektionfehler der Kameraparameter, und die Teams zeigten beeindruckende Kreativität bei der Nutzung von Schlüsselpunkt- und Linienerkennungsmethoden. Die gewinnende Methode kombinierte verschiedene Erkennungsstrategien, um zuverlässige Kalibrierungsergebnisse zu erzielen.

#Details zur Wiedererkennung der Spieler

#Aufgabenbeschreibung

Diese Aufgabe erforderte von den Teilnehmern, Spielerbilder über verschiedene Kameraperspektiven hinweg zuzuordnen. Die einzigartigen Herausforderungen umfassten die Ähnlichkeiten zwischen den Spielern und die unterschiedliche Bildqualität.

#Ergebnisse

Der Wettbewerb sah beeindruckende Teilnahme, wobei Teams verschiedene Lösungen vorschlugen, die fortschrittliche Modell-Ensemble- und kontrastive Trainingsmethoden nutzten. Das siegreiche Team verbesserte frühere Ergebnisse und erzielte einen neuen Höchststand.

#Details zur Verfolgung mehrerer Spieler

#Aufgabenbeschreibung

Die Teilnehmer hatten das Ziel, mehrere Spieler und den Ball während des Spiels ohne echte Begrenzungsrahmen zu verfolgen. Dies stellte erhebliche Herausforderungen dar, da genaue Erkennung und Zuordnung wesentlich waren.

#Ergebnisse

Diese Aufgabe verzeichnete bemerkenswerte Fortschritte, wobei verschiedene Teams komplexe Verfolgungsmethoden anwendeten. Die siegreiche Lösung kombinierte YOLO-X-Erkennung mit Kalman-Filterung, um die Verfolgungsgenauigkeit zu verbessern.

#Details zur Rückennummernerkennung

#Aufgabenbeschreibung

Die letzte Aufgabe konzentrierte sich darauf, die Rückennummern der Spieler aus Videoausschnitten zu identifizieren. Die Herausforderung ergab sich aus qualitativ minderwertigem Filmmaterial, bei dem die Nummern nicht immer sichtbar waren.

#Ergebnisse

Die Teilnehmer setzten verschiedene Methoden ein, einschliesslich Texterkennungssysteme, um diese Herausforderung zu bewältigen. Der siegreiche Ansatz nutzte Datenfilterung und Augmentierungstechniken, um die Modellleistung erheblich zu steigern.

#Fazit

Die SoccerNet 2023 Herausforderungen hoben die wachsenden Fähigkeiten im Bereich des Videoverständnisses und der Analyse von Fussballspielen hervor. Viele Teams präsentierten innovative Lösungen, die die bestehenden Benchmarks verbesserten und die harte Arbeit und Kreativität in der Forschungscommunity widerspiegelten. In Zukunft werden die Herausforderungen weiterentwickelt, neue Aufgaben einführen und Methoden verbessern, die die Grenzen dessen, was in der Sportvideoanalyse erreicht werden kann, erweitern.