アーカイブ / Computer Vision
CoTracker：動画中の点をまとめて追い、遮蔽をまたぐ軌跡を推定する
CoTracker
CoTrackerの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Qualitative Examples . CoTracker predicts the tracks for an arbitrary selection of points in long videos. In these examples from DAVIS [ 29 ] , the points are selected on an object of interest, but any point can be tracked. Here, we compensate for camera motion by using predicted background tracks and visualize the object tracks with colored lines.
概要
- CoTrackerは複数の点を共同で追い、点どうしの動きの関係を軌跡推定に使う。
- 短い動画区間を重ねて処理し、各点の位置と可視状態を出力する。
- DAVIS FirstのAJは60.6だが、Kinetics Firstでは比較対象のTAPIRが上回る。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、CoTrackerの仕組み
- 01動画と開始点
- 02画像の特徴抽出
- 03複数点を共同更新
- 04軌跡と可視状態
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
動画中の同じ場所を追い続ける点追跡は、物体やカメラの動きを調べる基礎になる。だが、対象が一時的に隠れたり画面外へ出たりすると、単独の点だけから位置を推定するのは難しい。
同じ物体にある複数の点は関連して動くことがある。CoTrackerは、その関係を利用して、長い動画でも点の位置と可視状態を推定する研究である。
手法
入力は動画と、追いたい点が最初に見えるフレームの座標である。各フレームから画像の特徴を取り出し、点の仮の位置と照らし合わせる。Transformerは、情報を関連づける注意機構を用い、同じ点の時間変化と別の点の動きを参照して、軌跡を何度も修正する。
長い動画は重なりのある短い区間に分け、前の区間の推定を次へ渡す。出力は各点の各時点の座標と、見えているかを示す値である。例えば部品上の点が別の部品に隠れた間も、周囲の点の動きを手掛かりに位置を推定する。評価時には規則的に置いた補助点も使い、対象点だけを独立に追う条件との比較に配慮した。
新規性
CoTrackerは、追跡点ごとの時間変化と、異なる点どうしの関係を同じモデルで扱う。時間方向と点の集団方向に注意機構を分け、複数点の軌跡を繰り返し更新する構成が中心である。
重なりのある短い区間を連結し、その使い方を学習にも組み込む。追跡開始点を途中から追加でき、補助点を置いて対象点の動きを推定する設計も示している。
従来手法との違い
従来の点追跡手法には、各点を独立に追うものが多い。CoTrackerは周囲の点の動きも参照するため、同じ物体の点が似た動きをするという手掛かりを使える。光フローは画面内の広い範囲の短期的な動きを推定する別の方式である。
著者らはTAP-Net、PIPs、TAPIRなどと比較した。ただし、全指標で一律に勝つわけではない。例えばKinetics FirstのAJはCoTrackerが48.7、TAPIRが49.6である。
実験結果
著者らは合成動画TAP-Vid-Kubricで学習し、実動画を含むTAP-Vid-DAVIS、TAP-Vid-Kinetics、BADJA、FastCaptureで評価した。TAP-VidのAJは、位置と遮蔽の正しさを合わせる指標である。DAVIS FirstではCoTrackerが60.6、TAPIRが56.2だった。
一方、Kinetics FirstのAJは48.7対49.6でTAPIRが上回る。FastCaptureの3画素以内の精度はCoTrackerが68.0、TAPIRが63.2。これらは著者らが示した各データセットと評価手順での値であり、撮影現場での成功率を表すものではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案。製造工程を撮った固定カメラの動画で、部品表面と背景に複数の点を指定し、移動の軌跡を確認する。入力は動画と各点の開始位置、出力はフレームごとの座標と見えているかどうかの推定値とする。
担当者は部品が一時的に隠れる場面を含む動画を選び、軌跡を工程の確認資料に重ねる。部品の良否を自動判定する用途まで広げず、まず移動経路を読み取る作業に限定して有用性を確かめる。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案。対象部品が見える開始フレームで点を指定し、遮蔽や画面端への移動を含む短い動画を集める。人が数フレームごとに同じ点の位置と可視状態を記録し、照合用の基準にする。
比較対象には点を独立に追う方法を置く。同じ開始点と動画で、見える点の位置誤差、遮蔽後に追跡を再開できた割合、処理時間を測る。補助点の配置も固定してから試し、点の選び方による差を分けて記録する。
限界と課題
著者らの実験では、補助点の置き方で精度が変わる。点を増やせば常に良くなるわけではなく、対象点の追跡を妨げる場合がある。また、開始時には追いたい点が見えており、その位置で物理的な点を特定できると仮定する。
導入時には、反射する部品、急な視点変更、長い遮蔽で軌跡が保てるかを確認したい。論文の公開ベンチマークでの精度を、個別の撮影条件での精度にそのまま置き換えることはできない。
出典
元のタイトル・要旨を確認する（英語）
CoTracker: It is Better to Track Together
We introduce CoTracker, a transformer-based model that tracks a large number of 2D points in long video sequences. Differently from most existing approaches that track points independently, CoTracker tracks them jointly, accounting for their dependencies. We show that joint tracking significantly improves tracking accuracy and robustness, and allows CoTracker to track occluded points and points outside of the camera view. We also introduce several innovations for this class of trackers, including using token proxies that significantly improve memory efficiency and allow CoTracker to track 70k points jointly and simultaneously at inference on a single GPU. CoTracker is an online algorithm that operates causally on short windows. However, it is trained utilizing unrolled windows as a recurrent network, maintaining tracks for long periods of time even when points are occluded or leave the field of view. Quantitatively, CoTracker substantially outperforms prior trackers on standard point-tracking benchmarks.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29