アーカイブ / Computer Vision
人物の輪郭の変化から映像中の異常を探る研究
Video Anomaly Detection with Contours
Video Anomaly Detection with Contoursの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Overview of this study: Human contours are depicted by two distinct feature descriptors and analyzed by different regression and classification models to detect anomalous behavior in video.
概要
- 人物の骨格に代えて二次元の輪郭を使い、通常の動きから外れる映像を検出する研究。
- 輪郭を２種類の方法で数値化し、形の再現・予測と、形の分類に基づく予測を検討した。
- 著者らは６データセットで評価したと記すが、確認できた本文の範囲では各方式の指標値を確認できない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Video Anomaly Detection with Contoursの仕組み
- 01人物の映像
- 02人物の追跡と領域分割
- 03輪郭の数値化
- 04異常度の算出
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、人物の輪郭から普段と異なる動きを探る。映像異常検知とは、ある場面でよく見られる出来事と、まれな出来事を映像から区別する処理である。異常は種類が多く発生数も少ないため、すべての例を事前に集めて学習させるのは難しい。
人物に注目する従来の方法では、関節を線で結んだ骨格を使う例がある。著者らは輪郭でも通常の動きの繰り返しを表せるかを調べた。人物の画素をそのまま使わず外形に置き換えることには、見た目の情報を減らして扱う狙いがある。
手法
まず、映像内の人物を追跡し、領域分割で人物に当たる画素を取り出して輪郭を得る。領域分割とは、画像の各画素が対象に属するかを判別する処理である。輪郭は、中心から外周までの距離を並べる方法と、各点から見たほかの点の配置を記録するShape Contextで数値化する。例えば歩行する人物なら、時刻ごとの輪郭が一続きのデータになる。
距離の表現では、入力した形を再現するモデルと、直前の３フレームから次の形を数値で予測するモデルを試す。別の方式では、似た輪郭を集まりに分け、形の並びから次の集まりを予測する。さらに学習時の形から遠い輪郭を調べ、予測の確からしさと組み合わせて通常の動きからのずれを表す。
新規性
著者らは、人物の骨格に代えて二次元の輪郭を使い、通常の動きに繰り返し現れる形の変化を学ぶ方法を検討した。輪郭の表現には、中心から外周までの距離と、輪郭上の点同士の配置を表すShape Contextの２種類を用いる。
距離の表現では輪郭の再現と次の輪郭の予測を試し、Shape Contextでは似た形への分類を経て次の形を予測する。人物以外への拡張は著者らが示す将来の可能性であり、この研究で実証した対象ではない。
従来手法との違い
従来の人物中心の映像異常検知には、関節の位置とつながりを示す骨格から、普段と異なる動きを探す方法がある。本研究では人物の外形を使い、著者らは骨格方式が持つ人物の見た目の抽象化という利点を保つと位置づけている。
研究内の基準モデルは、輪郭の距離表現を画像に変えて再現する変分オートエンコーダーである。ほかに線形の再現モデル、次の輪郭を予測するモデル、形の分類に基づく予測モデルを試す。確認できた本文の範囲では、各方式の指標値による優劣は確かめられない。
実験結果
著者らは、CUHK Avenue、ShanghaiTech、合成映像のUBnormalと、それぞれの人物関連版であるHR-Avenue、HR-ShanghaiTech、HR-UBnormalの計６データセットで評価したと記す。人物関連版では、人物が異常の原因や手掛かりにならないフレームまたは映像が除かれている。UBnormalには教師なし学習用の訓練・テスト分割だけを用いた。
著者らが挙げる評価指標は、フレーム単位のAUC、領域単位のRBDC、追跡対象単位のTBDCである。確認できた本文の範囲は評価指標の説明の途中までで、各モデルの指標値や比較結果は確認できない。著者らは方向性を有望と総括するが、改善幅や特定条件での検出率はここから示せない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：施設の通路を撮るカメラ映像から人物を追跡し、通常時の輪郭の変化を学習する。運用時には、異常度の高い人物と時刻を担当者の確認候補として出す。出力は判断を確定する通知ではなく、元映像を確認するための手掛かりとする。
必要な学習データは、その通路で撮った通常時の映像である。評価には確認対象の時刻と人物または領域を示す正解ラベルを別途用意する。設置済みカメラの撮影角度や人の重なりに合わせ、追跡と輪郭抽出を調整する必要がある。この通路での性能は論文の評価からは決められない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象の通路で通常時のカメラ映像を集め、学習用と評価用を分ける。人物の追跡と領域分割から得た輪郭を目視で点検し、輪郭を再現する論文内の基準モデルと、次の輪郭を予測する方式を同じ映像条件で比較する。撮影角度に応じた前処理の調整内容も記録する。
評価用には、確認すべき出来事の時刻と該当する人物・領域の正解ラベルを作る。論文が挙げるフレーム単位AUCなどを算出し、担当者に提示される区間数と見逃した区間数も数える。撮影位置を変えた場合は追跡と輪郭抽出を再点検し、その条件の映像で測り直す。
限界と課題
著者らが将来の可能性として述べるのは、輪郭を使えば人物以外の物体にも対象を広げられるという点である。確認できた本文の範囲では、人物以外を対象にした実験結果や、輪郭方式について著者らが明示した失敗条件は確認できない。
編集上の検証事項は、人が重なる場面や撮影角度が変わる場面で輪郭を安定して得られるか、確認候補の数を担当者が扱えるかである。異常判定用のモデルは浅い構成だが、前処理には追跡モデルと領域分割モデルを使う。導入先では、前処理を含む所要時間と計算量を測る必要がある。
出典
元のタイトル・要旨を確認する（英語）
Video Anomaly Detection with Contours -- A Study
In Pose-based Video Anomaly Detection prior art is rooted on the assumption that abnormal events can be mostly regarded as a result of uncommon human behavior. Opposed to utilizing skeleton representations of humans, however, we investigate the potential of learning recurrent motion patterns of normal human behavior using 2D contours. Keeping all advantages of pose-based methods, such as increased object anonymization, the shift from human skeletons to contours is hypothesized to leave the opportunity to cover more object categories open for future research. We propose formulating the problem as a regression and a classification task, and additionally explore two distinct data representation techniques for contours. To further reduce the computational complexity of Pose-based Video Anomaly Detection solutions, all methods in this study are based on shallow Neural Networks from the field of Deep Learning, and evaluated on the three most prominent benchmark datasets within Video Anomaly Detection and their human-related counterparts, totaling six datasets. Our results indicate that this novel perspective on Pose-based Video Anomaly Detection marks a promising direction for future research.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01