アーカイブ / Computer Vision
実映像に仮の追跡ラベルを付け、少ない動画で点追跡を改善するCoTracker3
CoTracker3
公式デモ動画から切り出した追跡結果。
出典：Nikita Karaev et al. / CoTracker3 ↗概要
- 複数の追跡器がラベルなし実動画に付けた仮ラベルを、CoTracker3の追加学習に使う。
- TAP-Vidの表では、実動画1万5千本を使ったCoTracker3の平均可視点精度が、1,500万本を使ったBootsTAPIRを上回る。
- オンライン型は順次処理、オフライン型は動画全体を使う構成で、遮蔽追跡と処理可能な長さに違いがある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、CoTracker3の仕組み
- 01動画と指定点
- 02各画面の特徴抽出
- 03点周辺の照合
- 04座標・可視性
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
映像の点追跡とは、あるフレームで指定した一点が、その後の各フレームのどこにあるかを求める作業である。動画編集や三次元形状の復元では、同じ場所を見失わないことが重要になる。
実動画で大量の点の正解位置を画素単位で付けるのは難しく、合成動画による学習が広く使われる。ただし合成と実写の見え方には差があり、遮蔽や速い動きを含む現場映像での追跡性能が課題となる。
手法
利用時には動画と、点を指定するフレーム番号・座標を入力する。各フレームから画像の特徴を取り出し、指定点の周囲と別フレームで推定した点の周囲を照合する。照合は見た目の対応を数値化する処理で、モデルはその結果を使って点の位置を繰り返し修正する。複数の点もまとめて扱い、各時点の座標、見えている確率、追跡への確信度を出す。
学習では、まず合成動画を使い、次に複数の既存追跡器がラベルなしの実動画に付けた推定軌跡を仮ラベルとして使う。仮ラベルとは人が確認した正解ではなく、教師モデルの予測である。オフライン型は動画全体を見て前後方向に追い、オンライン型は時間窓を順に動かして追跡する。
新規性
CoTracker3は、構成を簡素化した点追跡モデルと、既存の複数モデルが実映像に付けた仮ラベルで追加学習する方法を組み合わせる。画面外や遮蔽を含む点の追跡に対応し、順次処理型と動画全体を使う型を備える。
著者らは、BootsTAPIRが使った実動画の千分の一に当たる1万5千本で、比較評価の平均指標を上回ったと報告する。この「少ないデータ」は比較した実動画本数の話であり、あらゆる撮影条件で必要量が同じという意味ではない。
従来手法との違い
従来の追跡器は、点の正しい移動先を自動的に付けられる合成動画で主に学習した。BootsTAPIRは1,500万本のラベルなし実動画を使う。CoTracker3は合成動画で事前学習したうえで、既存追跡器を教師として実動画に仮ラベルを付け、1万5千本で追加学習する。
モデル構成でも、著者らは他方式の大域的な対応付け段階を省き、照合情報をより単純な処理にした。実動画を使う学習では複雑な拡張処理などを必要としないと説明する。
実験結果
著者らはTAP-VidのKinetics、DAVIS、RGB-Stackingで、点位置と遮蔽判定を評価した。指標の一つ「可視点の平均精度」は、正解から1、2、4、8、16画素以内の割合を平均する。表では、合成動画と実動画1万5千本で学習したCoTracker3の平均値はオンライン型76.1、オフライン型76.6で、実動画1,500万本を使ったBootsTAPIRの75.0を上回る。
処理前の動画は256×256画素に縮小される。著者らはDynamic ReplicaやRoboTAPも評価対象とし、構成比較ではCoTrackerよりパラメータが約半分、LocoTrackより27％高速と述べる。実務映像での値ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：工場の組立映像で、部品の角や治具上の印を時系列で追い、作業手順を確認する。入力は固定した撮影条件の動画と最初のフレームで指定した点、出力は各フレームの座標、見えているかどうか、追跡への確信度とする。
点が作業者の手で隠れた区間は、追跡結果をそのまま確定せず、見え直した後の位置との整合を担当者が確認する。得られた軌跡を作業分析に使えるかは、現場映像で別途測る必要がある。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象工程から、点が見える場面と手や部品で隠れる場面を含む短い動画を選ぶ。数点の正解軌跡を人手で付け、既存の追跡方法を比較基準にして、同じ開始点から両方式を走らせる。
見えている点の位置誤差、遮蔽判定の正しさ、見え直した後の復帰、処理時間を測る。オンライン型とオフライン型は用途に合わせて比べ、長い動画では処理可能な長さも確認する。仮ラベルによる追加学習が必要かは、この小規模評価の結果から決める。
限界と課題
著者らは、オフライン型は遮蔽点や長期の可視点をよりよく追える一方、処理できるフレーム数がメモリで制限されると説明する。オンライン型は窓を動かしながら順方向に処理する。学習用の特徴点が十分に得られない動画は飛ばすとも記す。
編集上は、反射、単色の部品、急な遮蔽、撮影条件の変化で点がどれほどずれるかを確認したい。論文の速度差や精度は指定された評価条件での結果であり、現場の画角や動画長での性能を保証しない。
出典
元のタイトル・要旨を確認する（英語）
CoTracker3: Simpler and Better Point Tracking by Pseudo-Labelling Real Videos
Most state-of-the-art point trackers are trained on synthetic data due to the difficulty of annotating real videos for this task. However, this can result in suboptimal performance due to the statistical gap between synthetic and real videos. In order to understand these issues better, we introduce CoTracker3, comprising a new tracking model and a new semi-supervised training recipe. This allows real videos without annotations to be used during training by generating pseudo-labels using off-the-shelf teachers. The new model eliminates or simplifies components from previous trackers, resulting in a simpler and often smaller architecture. This training scheme is much simpler than prior work and achieves better results using 1,000 times less data. We further study the scaling behaviour to understand the impact of using more real unsupervised data in point tracking. The model is available in online and offline variants and reliably tracks visible and occluded points.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29