アーカイブ / Computer Vision
「カメラに最も近い人」を追う：深度と言葉を組み合わせた対象追跡
DRTrack
DRTrackの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Comparison between RMOT and DRMOT. (a) RMOT Failure: RMOT model relying solely on RGB images and language (L) is unable to correctly ground the referring expression under depth-dependent spatial descriptions. Although candidate objects are detected, the absence of explicit depth cues leads to ambiguous spatial reasoning and incorrect target grounding selection. (b) DRMOT Success: By integrating RGB, language (L), and depth (D) information, the DRMOT model leverages depth cues to resolve spatial ambiguity, thereby achieving accurate target grounding and maintaining temporal identity consistency. This comparison demonstrates the necessity of depth information for disambiguating depth-related referring descriptions that are indistinguishable in the 2D image space.
概要
- DRTrackは言語・カラー映像・深度画像から対象の枠を推定し、深度と動きも使って識別番号を維持する。
- DRSetには187場面と240件の言語説明があり、そのうち56件が深度に言及する。
- 著者らのDRSetテスト用99動画での報告では、DRTrackのHOTAは33.24、追加学習なしのRGB入力Qwen2.5-VL-3Bは15.13だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、DRTrackの仕組み
- 01言語・カラー映像・深度
- 02対象の枠を推定
- 03深度と動きで対応付け
- 04識別番号付き軌跡
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
言葉で指定した人や物を映像から追うには、条件に合う対象を見つけ、次の場面でも同じ対象として識別する必要がある。「最もカメラに近い人」という条件は、色や形を示す画像だけでは判断しにくい。
人同士が重なると、外見の手掛かりも一時的に失われる。対象を取り違えると記録される移動経路が変わるため、著者らは各画素についてカメラからの距離を示す深度画像を加えた追跡を検討した。
手法
DRTrackは、同期したカラー映像と深度画像、対象を指定する文章を入力する。まず、画像と言葉を一緒に処理するマルチモーダル大規模言語モデルが、例えば「最も近い車」に当たる対象の矩形の枠を出す。学習時には出力形式に加え、推定した枠と正解の枠の重なりを報酬として使い、枠の出し方を調整する。
次に、OC-SORTという追跡方式を深度で拡張し、前の軌跡と新しい枠を結び付ける。枠同士の重なり、枠内の平均深度の近さ、移動方向を合わせて対応を決める。出力は、文章の条件に合う対象の枠と、フレームを通して維持する識別番号付きの軌跡である。
新規性
著者らは、カラー映像、深度画像、言語による指定を組み合わせ、条件に合う複数の対象を追う課題「DRMOT」を定義した。評価用のDRSetには、距離に関する説明文も含めた。
提案手法DRTrackは、深度を対象の枠の推定と、フレームをまたぐ対応付けの両方に使う。言葉が指す対象を選ぶ処理と、その識別番号を保つ処理をつなげた点が著者らの主張する前進である。
従来手法との違い
従来の言語指定型追跡は、主にカラー映像と言語を入力とする。著者らは「カメラに最も近い人」のような指定や、対象が強く隠れる場面では、画像上の見た目だけで選択や対応付けを行うことが難しいと説明する。
DRTrackは深度画像を入力に加え、対象の枠を推定した後も、距離の近さを対応付けに使う。報告されたRGB入力手法との成績差には、入力に加えてモデル構成や追加学習の違いも含まれる。
実験結果
著者らはDRSetを動画単位で学習用141件とテスト用99件に分けた。全体には187場面、240件の言語説明があり、うち56件が深度に言及する。DRTrackのモデル調整には、学習用データの10％を使ったと記す。
テスト用データで、検出と対応付けを総合する指標HOTAはDRTrackが33.24、追加学習なしのRGB入力Qwen2.5-VL-3Bが15.13だった。別の比較表では、同モデルに深度を加えた追加学習なしの構成が32.68と報告される。いずれも著者らによるDRSetでの結果である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：施設の通路映像で「カメラに近い側を歩く人」を指定し、その移動軌跡を担当者が確認する。入力は同期したカラー映像と深度画像、対象を記した文章で、出力は各フレームの対象枠と継続する識別番号を想定する。
試すには、対象を含む現場映像を集め、説明文、正解の枠、識別番号を付けた学習・評価データが必要になる。撮影条件や担当者の言葉遣いに合わせた調整も要る。この施設用途は論文で検証されたものではない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象の通路で同期したカラー映像と深度画像を集め、担当者が実際に使う説明文を付ける。各フレームに正解の対象枠と識別番号を付け、動画単位で学習用と評価用に分ける。現場の表現と撮影条件に合わせたモデルの調整方法も決める。
同じ評価動画で、カラー映像と言語だけを使う構成と比較する。HOTA、対象選択の正誤、識別番号の入れ替わりを測り、距離を含む指示と対象が重なる場面を分けて確認する。誤追跡した動画は担当者が映像と照合する。
限界と課題
著者らは、RGBのみの追跡では距離を含む指示を解釈しにくく、強い遮蔽で外見の手掛かりが不安定になると説明する。ただし、提示されたDRSetでの成績から、あらゆる施設や遮蔽条件でDRTrackが安定すると結論づけることはできない。
編集上の検証事項は、深度画像の欠損、対象同士の重なり、カメラ位置の変化に伴う誤選択と識別番号の入れ替わりである。DRSetは対象カテゴリの分布が均一ではないため、利用場所の映像と正解ラベルによる再評価も必要になる。
出典
元のタイトル・要旨を確認する（英語）
DRMOT: A Dataset and Framework for RGBD Referring Multi-Object Tracking
Referring Multi-Object Tracking (RMOT) aims to track specific targets based on language descriptions and is vital for interactive AI systems such as robotics and autonomous driving. However, existing RMOT models rely solely on 2D RGB data, making it challenging to accurately detect and associate targets characterized by complex spatial semantics (e.g., ``the person closest to the camera'') and to maintain reliable identities under severe occlusion, due to the absence of explicit 3D spatial information. In this work, we propose a novel task, RGBD Referring Multi-Object Tracking (DRMOT), which explicitly requires models to fuse RGB, Depth (D), and Language (L) modalities to achieve 3D-aware tracking. To advance research on the DRMOT task, we construct a tailored RGBD referring multi-object tracking dataset, named DRSet, designed to evaluate models' spatial-semantic grounding and tracking capabilities. Specifically, DRSet contains RGB images and depth maps from 187 scenes, along with 240 language descriptions, among which 56 descriptions incorporate depth-related information. Furthermore, we propose DRTrack, a MLLM-guided depth-referring tracking framework. DRTrack performs depth-aware target grounding from joint RGB-D-L inputs and enforces robust trajectory association by incorporating depth cues. Extensive experiments on the DRSet dataset demonstrate the effectiveness of our framework.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01