2024年のサッカー映像解析の進展

2024年、SoccerNetはサッカーのビデオ理解を向上させるためのチャレンジを開催する伝統を続けた。このチャレンジは、ボールアクションのスポッティング、デンスビデオキャプショニング、マルチビューファウル認識、ゲームステート再構成の4つの主要なタスクで構成されていた。それぞれのタスクは、ビデオを通じてサッカーの試合を分析し理解する方法を強化するように設計されている。

#タスク1: ボールアクションスポッティング

ボールアクションスポッティングは、ボールに関するサッカーアクションの特定とタイミングに焦点を当てている。このタスクは、パス、ヘッダー、ゴールなどの具体的なアクションも含まれるようになった。目標は、これらのアクションが発生するタイミングを認識し、正確にラベル付けすることだ。

#タスクの説明

このタスクの参加者は、イングランドフットボールリーグの試合のビデオ映像を分析する。ボール関連のアクションの正確なタイミングを特定し、いくつかのカテゴリーのいずれかに分類する必要がある。カテゴリーには、パス、ドライブ、ヘッダー、フリーキックなどが含まれる。各アクションが発生するタイムスタンプも示される。評価は、時間の経過に伴ってこれらのアクションをどれだけ正確に特定できるかに基づいている。

今年は、参加者が増え、提出物の幅も広がった。全体のパフォーマンスは昨年よりも向上し、技術や方法論の進展を示している。

#評価メトリック

このチャレンジのパフォーマンスは、平均平均精度（mAP）メトリックを使って測定された。このメトリックは、各認識の正確性とタイミングを考慮している。参加者は、高い精度を達成する必要があり、アクションが実際に発生する時間にできるだけ近いタイミングで正しく特定することが求められた。

#タスク2: デンスビデオキャプショニング

デンスビデオキャプショニングでは、参加者が切り取られていないサッカービデオのために文章の説明を作成する必要があった。このタスクでは、ビデオの中でキャプションが必要な瞬間を特定し、その時点で起こっているイベントを説明する自然言語の文を生成することが求められた。

#タスクの説明

このタスクでは、長い未編集のサッカー試合のビデオデータセットを使用した。目標は、試合中に何が起こっているかを視聴者が理解しやすくするために、関連するタイミングにキャプションを挿入することだった。キャプションは明確で情報的である必要があり、ビデオ内のアクションの文脈を提供することが求められた。

#評価メトリック

評価は、生成されたキャプションが実際のキャプションとどれだけ一致しているかに焦点を当てた。言語の類似性に基づくスコアリングシステムを使用して、参加者は生成したキャプションの質に基づいてランク付けされた。このタスクは、サッカーのような高速スポーツを正確に説明することの複雑さにより、挑戦があった。

#タスク3: マルチビューファウル認識

マルチビューファウル認識では、参加者が複数のカメラアングルの映像を使用して、ファウルの可能性がある出来事を分析することが求められた。目標は、出来事がファウルに該当するかを分類し、もし該当するならその重症度を区別することだ。

#タスクの説明

この新しいチャレンジでは、参加者が審判のように行動し、ファウルの映像に基づいて判断を下す必要があった。ファウルが発生したかを判断し、それを「無違反」、「違反 + カードなし」、「違反 + イエローカード」、「違反 + レッドカード」の4つのカテゴリーに分類する必要があった。このタスクは、異なるタイプのファウルを区別することも含まれていた。

#評価メトリック

このタスクのパフォーマンス評価の主なメトリックはバランス精度だった。このアプローチは、異なるタイプのファウルがデータセットで均等に表現されていないため重要だった。最終スコアは、参加者がファウルの種類とその重症度をどれだけ正確に分類できたかに基づいて計算された。

#タスク4: ゲームステート再構成

ゲームステート再構成では、参加者が選手を追跡し、放送されたビデオからゲームの状態を再構成して、サッカー場のトップダウンビューを作成する必要があった。このタスクは、試合のダイナミクスを視覚的に表現することを目的としている。

#タスクの説明

このチャレンジでは、参加者が選手の位置、役割、所属をどれだけうまく特定できるかに焦点を当てた。放送映像を取り入れて、選手がフィールド上のどこにいるかを示す2Dマップを作成することが求められた。これは、選手に追加の機器を装着させることなく、ビデオ映像の高度な分析を必要とした。

#評価メトリック

ゲームステート再構成のパフォーマンスは、GS-HOTAと呼ばれる新しいメトリックを使用して評価された。このメトリックは、参加者が選手をどれだけ正確に追跡し特定できたかを測定し、ジャージ番号や選手の役割といったさまざまな要素を組み合わせて、ゲームの状態を包括的に理解することを保証する。

#参加者の貢献

様々な大学や組織からの参加者がそれぞれのタスクに対して革新的な方法や技術を提供した。多くのチームが異なるニューラルネットワーク構造を組み合わせたり、転移学習を利用してモデルのパフォーマンスを向上させるなどの独自のアプローチを開発した。これらの共同作業は、前回のチャレンジと比較して結果の大幅な改善を示した。

#結論

SoccerNet 2024のチャレンジは、スポーツビデオの理解における進展を反映している。ビデオ分析において可能な限界を押し広げるように設計された4つのタスクで、参加者は自分のスキルと創造性を発揮した。今年観察された改善は、技術を通じてサッカーの試合を理解することへの関心と能力が高まっていることを示している。今後、SoccerNetチームは、チャレンジとタスクをさらに拡大して、このエキサイティングな分野での研究を継続的に強化する計画を立てている。