アーカイブ / Computer Vision
BoT-SORTで人を追跡する：カメラの動きと見た目を考慮した映像内の対応付け
BoT-SORT
BoT-SORTの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: IDF1-MOTA-HOTA comparisons of state-of-the-art trackers with our proposed BoT-SORT and BoT-SORT-ReID on the MOT17 test set. The x-axis is IDF1, the y-axis is MOTA, and the radius of the circle is HOTA. Ours BoT-SORT-ReID and our simpler version BoT-SORT achieve the best IDF1, MOTA, and HOTA performance from all other trackers on the leadboard.
概要
- BoT-SORTはByteTrackに枠の形の予測とカメラ移動の補正を加え、ReID版では外見も使う。
- 著者らはMOT17テストでReID版のMOTA 80.5、IDF1 80.2、HOTA 65.0を報告した。
- 実務ではIDの入れ替わりと処理速度を、実際のカメラ映像で併せて評価する。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、BoT-SORTの仕組み
- 01連続映像の人物枠
- 02次の位置を予測
- 03カメラ移動を補正
- 04同じ人物のID
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
映像の人物追跡では、各フレームで人を見つけるだけでなく、次のフレームでも同じ人に同じIDを付け続ける必要がある。人同士の重なりやカメラの動きがあると、位置だけで判断した対応付けは崩れやすい。
BoT-SORTは、検出済みの人物を時間方向に結ぶ手法である。通行量の集計などに使うなら、見逃しに加えて、別人へのIDの付け替えが結果をどう変えるかが重要になる。
手法
まず各フレームの人物検出枠を受け取り、カルマンフィルタで次の位置と枠の幅・高さを予測する。カルマンフィルタは、前の位置と動きから次の状態を見積もり、新しい観測で予測を直す方法である。背景の対応点からカメラの動きを推定し、予測した枠の位置を補正する。
次に、予測枠と新しい検出枠の重なりを比べて人物を結び付ける。ReID版では、再識別と呼ぶ外見特徴の比較も用い、位置と見た目の両方から候補を選ぶ。たとえばカメラが横に揺れた場面でも、背景の移動を差し引いてから同じ人の枠を探し、継続するIDを出す。
新規性
BoT-SORTは、検出結果を時系列で結ぶByteTrackを土台に、三つの変更を加えた。人を囲む枠の幅と高さを直接予測する状態表現、背景の動きから求めるカメラ移動の補正、そして位置の重なりと外見の類似度を組み合わせる対応付けである。
外見情報を加えないBoT-SORTと、再識別を加えたBoT-SORT-ReIDを分けて示した点も実用判断に役立つ。後者は人物IDの維持を狙うが、外見特徴を計算する分、処理時間にも注意が要る。
従来手法との違い
基準のByteTrackは、検出の確信度が高い枠を先に対応付け、低い枠も後から利用する。BoT-SORTはこの流れに、枠の形の予測とカメラ移動の補正を加える。BoT-SORT-ReIDでは、人物の見た目を表す数値も対応付けに使う。
MOT17の検証用分割で、著者らの再実装したByteTrackはMOTA 77.66、IDF1 79.77、HOTA 67.88だった。同じ設定でBoT-SORT-ReIDは順に78.46、82.07、69.17となった。改善幅はこの検出器と分割条件に基づく。
実験結果
著者らは、固定・移動カメラを含むMOT17と、混雑場面を含むMOT20のテスト集合で評価した。MOTAは見逃し、誤検出、IDの入れ替わりを反映し、IDF1は人物IDの対応の良さ、HOTAは検出と対応付けを合わせて測る。
MOT17のテストではBoT-SORT-ReIDがMOTA 80.5、IDF1 80.2、HOTA 65.0だった。MOT20では順に77.8、77.5、63.3と報告される。著者らの表ではMOT17の速度はReID版4.5 FPS、ReIDなし6.6 FPSだが、速度は計測条件に左右される。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：施設の通路を映すカメラで、通行人数の時間帯別集計を作る。入力は連続する映像フレームと各フレームで検出した人物の枠、出力は人物ごとの一時的なIDと通過記録である。
同じ人を連続フレームで結び、指定した線を越えた時に一件と数える。映像と集計を照合して、遮蔽やカメラの揺れで二重計上が起きる場面を確認する。論文の主な評価対象は追跡指標であり、この集計用途の精度を実測した結果ではない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：短い通路映像を選び、人物枠とフレームをまたぐ正しいIDを人手で付ける。検出器を固定し、ByteTrackを基準にBoT-SORT、BoT-SORT-ReIDを同じ映像で走らせる。
IDの入れ替わり数、見逃し数、二重計上数、1秒当たりの処理フレーム数を比べる。カメラが動く区間と混雑する区間を別に集計し、ReIDを足した時の改善が処理時間の増加に見合うか確認する。
限界と課題
著者らは、実生活での利用において動作速度が主な懸念だと述べる。カメラ移動の計算や外見特徴の抽出を足すほど処理が増える。論文の速度表も、実行機器が手法ごとに異なり、検出時間を除く場合があるため単純比較しにくい。
導入時の確認事項は、カメラの揺れが大きい映像、人物が密集して隠れる映像でのIDの入れ替わりと処理遅延である。MOT17・MOT20での順位は、任意の施設映像で同じ追跡品質を保証するものではない。
出典
元のタイトル・要旨を確認する（英語）
BoT-SORT: Robust Associations Multi-Pedestrian Tracking
The goal of multi-object tracking (MOT) is detecting and tracking all the objects in a scene, while keeping a unique identifier for each object. In this paper, we present a new robust state-of-the-art tracker, which can combine the advantages of motion and appearance information, along with camera-motion compensation, and a more accurate Kalman filter state vector. Our new trackers BoT-SORT, and BoT-SORT-ReID rank first in the datasets of MOTChallenge [29, 11] on both MOT17 and MOT20 test sets, in terms of all the main MOT metrics: MOTA, IDF1, and HOTA. For MOT17: 80.5 MOTA, 80.2 IDF1, and 65.0 HOTA are achieved. The source code and the pre-trained models are available at https://github.com/NirAharon/BOT-SORT
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29