アーカイブ / Computer Vision
Deep SORTは遮蔽後の人物をどう追うのか――位置と見た目による対応付け
Deep SORT
Deep SORTの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Exemplary output of our method on the MOT challenge dataset [ 15 ] in a common tracking situation with frequent occlusion.
概要
- 人物の位置予測に、事前学習した外観特徴の照合を加える。
- MOT16で同じ検出結果を用い、ID切り替わりを1423回から781回へ減らした。
- 遮蔽時の利点と引き換えに、途切れ回数や処理速度も現場で測る。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Deep SORTの仕組み
- 01人物の検出枠
- 02位置を予測
- 03外観を照合
- 04追跡ID
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
Deep SORTは、動画の各フレームで見つかった人物が前のフレームの誰に当たるかを決め、同じ識別番号で追う方法だ。人物が一時的に隠れる場面では、位置だけを頼ると再び現れた人を別人として扱いやすい。
元のSORTは簡潔で速い一方、本文によれば遮蔽後の識別番号の切り替わりが課題だった。著者らは人物の見た目も対応付けに使い、映像が届くたびに結果を出す方式を保った。
手法
各フレームの人物検出枠について、カルマンフィルターで既存の追跡対象が次に現れそうな位置を予測する。これは前の位置と動きから次の位置を推定し、新しい検出で修正する方法だ。検出枠の人物画像は、事前学習した画像モデルで外観の特徴に変換する。各追跡対象には直近の特徴を最大100件保存し、候補となる検出の特徴との近さを調べる。
位置が離れすぎた組を外した後、外観が近い組を対応付ける。処理は最近検出された対象から進め、隠れていた時間が長い対象は後に回す。たとえば柱の陰から出た歩行者について、予測位置が広く不確かでも、以前の服装などを反映した特徴が近ければ同じIDへ結び付ける。
新規性
著者らは、位置と枠の重なりを主に使うSORTへ、人物の見た目を数値で表す特徴を加えた。見た目の特徴は人物の再識別用データで事前に学び、映像を処理するときは保存済みの特徴との近さを調べる。
さらに、最近見えた追跡対象から優先して検出と結び付ける対応付けの順序を導入した。遮蔽で位置の予測が不確かになった対象が、別の人物の検出を取りやすくなる問題を抑える狙いがある。
従来手法との違い
元のSORTはカルマンフィルターによる位置予測と、予測枠と検出枠の重なりを使う。Deep SORTは位置から見て不自然な候補を除きつつ、人物の外観特徴の近さも使って検出を結び付ける。
同じMOT16の検出結果を用いた本文の比較では、SORTのID切り替わり1423回に対しDeep SORTは781回だった。一方、追跡の途切れは1835回から2008回へ増え、表の速度は60 Hzから40 Hzへ下がった。
実験結果
著者らはMOT16の七つのテスト映像で評価し、SORTとDeep SORTに同じ人物検出結果を入力した。追跡IDの切り替わりは1423回から781回へ約45％減り、複数物体追跡の総合的な正確さを表すMOTAは59.8から61.4になった。
追跡が途切れた回数は1835から2008へ増えた。表に載る処理速度はSORTが60 Hz、Deep SORTが40 Hzで、本文には実装が約20 Hzで動き、その時間のほぼ半分を外観特徴の生成に使うともある。速度値は記載箇所と測り方を区別して読む必要がある。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：駅の通路映像で、通過人数を重複なく数えるための人物追跡を試す。入力は各時刻の映像と人物を囲む検出枠、出力は各人物に付けた追跡IDと計数線を横切った時刻にする。
短い遮蔽の前後で同じIDを保てれば、同じ人を二度数える事態を減らせる可能性がある。ただし論文は通過人数の誤差を評価していないため、計数結果は現場で撮った映像に人手の正解を付けて確かめる。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：遮蔽とすれ違いを含む短い通路映像に、人手で人物IDと計数線の通過を記録する。同じ人物検出結果をSORTとDeep SORTへ渡し、追跡方法だけの差を比べる。
ID切り替わり、通過人数の誤差、検出漏れ後に同じIDへ戻れた割合、実際の処理速度を測る。照明と混雑度ごとに集計し、検出器による誤検出も別に数える。外観照合の効果と、入力となる検出の品質を切り分けるためである。
限界と課題
著者らは、正検出でない枠が増えると追跡精度が下がると述べている。静止した背景で検出器が断続的に人物を誤検出し、長めに保持する追跡設定によって、その誤検出が安定した軌跡として残る例も観察した。
編集上の確認事項は、設置場所の照明、混雑、カメラの動きで外観特徴がどれだけ保てるかである。本文の人物追跡結果だけでは、別のカメラへの引き継ぎや、実際の通過人数の誤差は判断できない。
出典
元のタイトル・要旨を確認する（英語）
Simple Online and Realtime Tracking with a Deep Association Metric
Simple Online and Realtime Tracking (SORT) is a pragmatic approach to multiple object tracking with a focus on simple, effective algorithms. In this paper, we integrate appearance information to improve the performance of SORT. Due to this extension we are able to track objects through longer periods of occlusions, effectively reducing the number of identity switches. In spirit of the original framework we place much of the computational complexity into an offline pre-training stage where we learn a deep association metric on a large-scale person re-identification dataset. During online application, we establish measurement-to-track associations using nearest neighbor queries in visual appearance space. Experimental evaluation shows that our extensions reduce the number of identity switches by 45%, achieving overall competitive performance at high frame rates.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29