アーカイブ / Computer Vision / LLM
未知の車両や歩行者を、位置と呼び名の履歴から追跡するNOVA
NOVA
NOVAの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: Comparison of 3D MOT paradigms under open-world category shifts. (a) Closed-set : a category-specific 3D detector yields class-limited proposals; unseen objects are suppressed and poorly tracked. (b) Semi-open-vocabulary : 2D open-vocabulary predictions are projected onto closed-set 3D proposals; tracking still relies on a downstream association tracker. (c) Open-vocabulary (ours) : an open-vocabulary 3D detector outputs labeled 3D detections, and NOVA robustly associates both Base and Novel objects online.
概要
- NOVAは三次元の検出候補と過去の軌跡を照合し、同じ物体かを言語モデルで判定する。
- nuScenesの未知カテゴリでは、著者らはAMOTAがOpen3DTrackの2.20％から22.41％になったと報告した。
- 既知カテゴリや別指標の結果も併せて読み、導入時には検出漏れ、識別番号の切り替わり、処理速度を測る必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、NOVAの仕組み
- 01時刻ごとの三次元検出
- 02位置と履歴を表現
- 03同一物体の確率を算出
- 04識別番号付き軌跡
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
自動運転向けの三次元物体追跡は、各時点で見つけた車や歩行者を、次の時点の同じ対象に結び付ける。あらかじめ決めた種類だけを検出する仕組みでは、未知の対象が現れると追跡を始めにくい。
さらに、物体が一時的に隠れたり、近い位置で交差したりすると、距離だけを手がかりにした対応付けは識別番号を取り違え得る。未知の種類を含む検出結果でも、位置の変化と物体名の意味を合わせて追うことが課題だ。
手法
NOVAは各時点の三次元の枠と物体名を受け取り、既存の軌跡ごとに今回の検出候補との組を作る。枠の中心、寸法、向き、検出の信頼度などをGeometry Encoderで数値の特徴に変え、過去の枠の履歴と一緒に言語モデルへ渡す。モデルは次に続く候補が同じ物体なら「Yes」と答える確率を出す。これが自己回帰による対応付けで、履歴の続きを順に判断するという意味だ。
候補ごとの確率から、一つの検出を複数の軌跡に付けない組合せを選ぶ。対応しない検出は新しい軌跡を始め、見失った軌跡は短期間保持する。学習時には未知カテゴリ名を「Unknown」に置き換え、近くにいる別物体を紛らわしい不正解例として使う。例えば並走する二台を、直前の位置だけでなく、それぞれの移動履歴から見分ける狙いだ。
新規性
NOVAの提案は、三次元の物体追跡で「前の軌跡と今回の検出が同じ物体か」を、軌跡の続きを答える言語モデルの判定に置き換える点にある。位置や大きさを学習可能な表現に変え、物体名の情報と一緒に履歴へ入れる。
既知の物体名は残し、未知の種類は「Unknown」として学習させる設計も特徴だ。近くにいて取り違えやすい別物体を学習例に選び、未知の種類が現れた場合の識別を狙っている。
従来手法との違い
比較対象のOpen3DTrackは、二次元で得た幅広い物体名を三次元の検出候補に付け、定めた対応付けの費用で追跡する方式だ。NOVAは公開語彙に対応する三次元検出結果を受け取り、候補と過去の軌跡の対応をモデルが判定する。
nuScenesの未知カテゴリでは著者らが大きな改善を報告した。一方、既知カテゴリのAMOTAはOpen3DTrackの52.30からNOVAの48.87になっている。未知物体での改善を、すべてのカテゴリと指標で一様な改善と読み替えることはできない。
実験結果
著者らはnuScenes、V2X-Seq-SPD、KITTIで評価し、既知カテゴリと未知カテゴリを分けて報告した。主指標のAMOTAは複数の判定基準で追跡精度を平均する値である。nuScenesの未知カテゴリでは、Open3DTrackの2.20％に対しNOVAは22.41％で、差は20.21ポイントだった。
V2X-Seq-SPDでは検出器の組合せによって未知カテゴリのsAMOTAが11.07から22.95、または15.70から16.01になった。著者らが使った言語モデルはQwen2.5-0.5Bで、同データセットのモデル比較表では3.4フレーム毎秒と報告する。速度と精度は、示された実験条件での値である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：道路の記録映像と三次元検出結果を使い、既知の車だけでなく、初めて現れる種類の車両や移動体にも継続した識別番号を付ける。入力は時刻ごとの三次元の枠、物体名、過去数時点の軌跡で、出力は対応付け済みの移動履歴と取り違え候補の一覧とする。
交通解析の担当者は、交差や一時的な遮蔽の前後で同じ対象として追えたかを確認する。識別番号が頻繁に変わる場面を抽出すれば、検出器と追跡器のどちらを調べるべきか絞り込める。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象の道路データを既知と未知の物体種類に分け、同じ三次元検出結果を既存の追跡器とNOVAに渡す。まず各時点の検出漏れを数え、その後、追跡中に識別番号が切り替わった回数とAMOTAを比較する。
交差、遮蔽、対象が密集する場面を別に集計し、未知カテゴリでの改善がどの場面から生じたかを見る。処理時間も記録して、映像の更新間隔に収まるか確かめる。検出器を変えた場合は別条件として扱う。
限界と課題
論文自身が、未知カテゴリの三次元検出は位置やラベルが不安定になりやすいと説明する。KITTIでは比較対象の結果が退化したためOpen3DTrackの値を掲載せず、同データセットでの直接比較はできない。V2X-Seq-SPDでは未知カテゴリのsAMOTAが改善しても、別指標のAMOTAは大きな負値である。
編集上の確認事項は、対象道路の検出結果で識別番号の切り替わりが何回起きるか、処理速度が必要な更新間隔に収まるかである。検出されなかった物体を追跡側だけで補えるとは限らないため、検出段階の見逃しも分けて測りたい。
出典
元のタイトル・要旨を確認する（英語）
NOVA: Next-step Open-Vocabulary Autoregression for 3D Multi-Object Tracking in Autonomous Driving
Generalizing across unknown targets is critical for open-world perception, yet existing 3D Multi-Object Tracking (3D MOT) pipelines remain limited by closed-set assumptions and ``semantic-blind'' heuristics. To address this, we propose Next-step Open-Vocabulary Autoregression (NOVA), an autoregressive association formulation that shifts the data association stage from fragmented distance-based matching toward trajectory-conditioned spatio-semantic modeling. NOVA reformulates 3D trajectories as structured spatio-temporal semantic sequences, enabling the simultaneous encoding of physical motion continuity and deep linguistic priors. By leveraging the autoregressive capabilities of Large Language Models (LLMs), we transform the tracking task into a principled process of next-step sequence completion. This mechanism allows the model to explicitly utilize the hierarchical structure of language space to resolve fine-grained semantic ambiguities and maintain identity consistency across complex long-range sequences through high-level commonsense reasoning. Extensive experiments on nuScenes, V2X-Seq-SPD, and KITTI demonstrate the superior performance of NOVA. Notably, on the nuScenes dataset, NOVA achieves an AMOTA of 22.41% for Novel categories, yielding a significant 20.21% absolute improvement over the baseline. These gains are realized through a compact 0.5B autoregressive model. Code will be available at https://github.com/xifen523/NOVA.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-30