アーカイブ / Computer Vision
中継の主映像とリプレーからボールの3次元位置注釈を作る
SoccerNet-v3D
SoccerNet-v3Dの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Ball triangularization. Given two cameras from different viewpoints, a 3D point 𝐩 12 \mathbf{p}_{12} can be estimated from the corresponding image points 𝐩 ¯ 1 \mathbf{\bar{p}}_{1} and 𝐩 ¯ 2 \mathbf{\bar{p}}_{2} in cameras 1 and 2, respectively, using the camera projection matrices 𝐏 1 \mathbf{P}_{1} and 𝐏 2 \mathbf{P}_{2} . However, since 𝐩 12 \mathbf{p}_{12} is only an optimal solution, its reprojected image points, 𝐩 ¯ 1 ′ \mathbf{\bar{p}}^{\prime}_{1} and 𝐩 ¯ 2 ′ \mathbf{\bar{p}}^{\prime}_{2} , do not exactly match the original points 𝐩 ¯ 𝟏 \mathbf{\bar{p}_{1}} and 𝐩 ¯ 2 \mathbf{\bar{p}}_{2} . e 12 e_{12} and e 21 e_{21} are the reprojection errors for cameras 1 and 2, respectively. β \beta corresponds to the parallax angle defined by the intersection of rays 𝐝 1 \mathbf{d}_{1} and 𝐝 2 \mathbf{d}_{2} .
概要
- 同期した主映像とリプレーを校正し、複数視点のボール注釈から3次元位置を求める。
- SoccerNet-v3Dは4,051フレーム、ISSIA-3Dは10,544フレームの3次元位置注釈を含む。
- 手作業で付けた精密な枠との比較で、調整後の囲み枠のIoUは0.57から0.66になった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、SoccerNet-v3Dの仕組み
- 01同期した映像
- 02線でカメラ校正
- 03ボールを三角測量
- 043次元位置注釈
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
サッカー映像でボールの画面上の位置が分かっても、地面からの高さを含む3次元位置は直接分からない。ボールは小さく、隠れたり、動きでぶれたりするため、位置を示す注釈も作りにくい。
3次元位置の注釈は、映像から位置を推定する手法を学習・評価するための基準になる。著者らは、サッカーのボールについて公開された3次元位置の正解注釈が不足しているという課題に対し、既存の中継映像と固定カメラ映像を拡張した。
手法
SoccerNet-v3Dでは、同じ瞬間を映す主映像とリプレーを組にし、各画面のフィールド線を競技場の形と照合する。カメラ校正とは、この対応からカメラの位置や向き、競技場が画像にどう写るかを推定する処理である。例えば両画面に同じボールが見える場面で、各画面のボール位置と校正結果を入力にする。
次に三角測量で、各カメラからボールへ向かう視線に合う3次元位置を求める。推定位置を画像へ戻した際のずれを再投影誤差と呼び、ずれが閾値を超える候補を除いて残りを平均する。得た位置と実際のボール直径を使い、画像上の囲み枠の大きさも調整する。ISSIA-3Dでは、固定カメラ映像に手作業でフィールド線ラベルを加えてから同様に処理する。
新規性
著者らは、SoccerNet-v3の主映像と同期するリプレーを利用し、ボールの3次元位置注釈を持つSoccerNet-v3Dを構築した。固定カメラのISSIAにも手法を適用し、ISSIA-3Dを作った。
複数視点で得た3次元位置に合わせてボールの囲み枠を調整し、中心点だけが付いた画像には枠を生成する方法も示した。さらに、1枚の画像から3次元位置を推定する課題と基準手法を設定した。
従来手法との違い
元のSoccerNet-v3にはボールの2次元の囲み枠やフィールド線の注釈がある。拡張版では、主映像とリプレーを組み合わせてカメラを校正し、複数視点から3次元位置を求める。元のISSIAには同期した固定カメラ映像とボール中心点の注釈があり、拡張版には3次元位置と生成した囲み枠が加わる。
別に設けた単眼の基準手法は、1枚の画像内でのボールの位置と直径、カメラの校正情報、実際のボール直径から位置を推定する。複数視点による注釈作成とは入力条件が異なる。
実験結果
著者らによると、SoccerNet-v3Dは3次元位置注釈付き4,051フレームで、学習用3,240、試験用811に分かれる。ISSIA-3Dは10,544フレームで、カメラ3～6の8,686を学習用、カメラ1～2の1,858を試験用にした。確認できた本文の範囲では、単眼による3次元位置推定の最終結果の数値は示されていない。
囲み枠は、SoccerNet-v3Dの学習用画像の約10％に精密な枠を手作業で付けて評価した。著者らの表では、元の枠から調整後の枠へ、IoU（枠同士の重なりの割合）が0.57から0.66、枠の大きさの誤差が19.01％から7.27％になった。後者は手作業の枠の対角線長に対する割合である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：試合後に、ボールが空中にある場面を複数の映像から確認する資料を作る。入力は同じ瞬間を映す主映像とリプレー、フィールド線ラベル、各画面のボール位置ラベルとする。時刻の対応とカメラ校正を確認した後、推定した3次元位置と各映像への投影位置を並べて出す。
必要な元データは対応する複数視点の映像で、必要なラベルはフィールド線とボール位置である。装着センサーはこの案の入力に含めない。別の会場や撮影条件で使うには、線とボールをその映像に合わせて注釈し、校正と視点間の対応を検証する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：少数の場面で、同じ瞬間に対応する主映像とリプレーを集め、両視点のフィールド線とボール中心または囲み枠にラベルを付ける。時刻を照合し、各カメラを校正してから3次元位置を求める。装着センサーは使わず、撮影条件が変われば線とボールのラベルを追加して校正をやり直す。
比較基準には、画像内のボール位置と大きさを使う単眼手法を置く。校正できた画像の割合、推定位置を元映像へ戻したときのずれ、視点間の角度が小さい場面の割合を記録する。3次元位置そのものの正確さを比べるには、別途確認した位置の基準が必要になる。
限界と課題
著者らは、視線のなす角度が小さい視点の組では、画像に戻した位置のずれが小さくても3次元位置の不確かさが増すと述べる。また、SoccerNet-v3Dには時間方向の情報がなく、ISSIA-3Dは固定カメラのため視点の多様性が限られる。ゴール内の魚眼映像など、校正できない画像もある。
編集上の検証事項は、リプレーが主映像と厳密に同じ瞬間を示すか、ボールや線が隠れた場面で注釈を確かめられるかである。確認できた本文の範囲では、単眼推定の最終的な精度表は示されていない。
出典
元のタイトル・要旨を確認する（英語）
SoccerNet-v3D: Leveraging Sports Broadcast Replays for 3D Scene Understanding
Sports video analysis is a key domain in computer vision, enabling detailed spatial understanding through multi-view correspondences. In this work, we introduce SoccerNet-v3D and ISSIA-3D, two enhanced and scalable datasets designed for 3D scene understanding in soccer broadcast analysis. These datasets extend SoccerNet-v3 and ISSIA by incorporating field-line-based camera calibration and multi-view synchronization, enabling 3D object localization through triangulation. We propose a monocular 3D ball localization task built upon the triangulation of ground-truth 2D ball annotations, along with several calibration and reprojection metrics to assess annotation quality on demand. Additionally, we present a single-image 3D ball localization method as a baseline, leveraging camera calibration and ball size priors to estimate the ball's position from a monocular viewpoint. To further refine 2D annotations, we introduce a bounding box optimization technique that ensures alignment with the 3D scene representation. Our proposed datasets establish new benchmarks for 3D soccer scene understanding, enhancing both spatial and temporal analysis in sports analytics. Finally, we provide code to facilitate access to our annotations and the generation pipelines for the datasets.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01