表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

可視光と赤外線の歩行動画を、輪郭と外観の特徴で照合する

DinoGRL

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

DinoGRLの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Figure 1. Motivation of DinoGRL. (a) Existing shape-based VI-ReID methods often rely on image-level parsing networks, which are not optimized for ReID, particularly under the infrared modality——leading to noisy segmentation and neglect of temporal gait cues. (b) In contrast, DinoGRL leverages DINOv2 as a strong visual prior to produce high-quality silhouettes that facilitate the integration of sequence-level gait features, further refined by complementary appearance cues to achieve discriminative and modality-robust embeddings.

出典:DinoGRL / arXiv ↗

概要

  • DinoGRLは、可視光と赤外線の歩行動画から輪郭に基づく歩行特徴と外観特徴を抽出し、組み合わせて人物を照合する。
  • 著者らはHITSZ-VCMの6フレーム比較で、赤外線から可視光へのR@1を72.5、mAPを61.1と報告した。
  • 導入検証には両方式の動画と本人識別ラベルを用意し、同条件の外観特徴のみの照合と順位精度を比較する必要がある。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、DinoGRLの仕組み

左から右へ読む
  1. 01可視光・赤外線動画
  2. 02輪郭と外観を抽出
  3. 03歩行と外観を補強
  4. 04人物候補を順位付け

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

DinoGRLは、可視光と赤外線で撮った歩行動画から同じ人物を探す手法だ。この課題は動画による可視光・赤外線人物再識別と呼ばれる。照明や撮影方式が変わると外観の見え方が異なり、静止画の照合では連続する動きの手掛かりを使いにくい。

歩き方には時間を通じた情報がある一方、体の輪郭だけでは服装などの細部が失われる。両方の情報をどう結び付けるかが、異なるカメラ間で候補を絞る際の課題となる。

手法

入力は人物ごとの連続した画像だ。事前学習済み画像モデルのDINOv2から各画像の特徴を取り、最終層の特徴で人物と背景を分ける輪郭を推定する。中間層の特徴も使って輪郭の情報を豊かにし、別の経路で外観特徴を抽出する。各画像の情報は動画単位の特徴にまとめられる。

DINOv2を固定したまま、輪郭生成部と歩行特徴抽出部を、同じ人物を識別する学習目的で共同調整する。その後、歩行と外観の特徴を複数の幅の横長領域に分け、局所情報で互いの全体特徴を段階的に補う。例えば可視光動画を検索の入力にすると、赤外線動画中の人物が照合候補として並ぶ。

新規性

著者らの提案は、DINOv2の最終層から人物の輪郭を推定し、中間層の情報も加えて歩行特徴を作る点にある。輪郭生成部と歩行特徴抽出部を人物照合の目的に合わせて共同で学習し、DINOv2本体は固定する。

さらに、歩行と外観の特徴を複数の細かさに分け、片方の局所情報で他方の全体情報を段階的に補う。輪郭が捉える動きと、輪郭だけでは欠ける外観の情報を組み合わせる設計だ。

従来手法との違い

従来の動画照合手法には、可視光と赤外線に共通する外観特徴を学ぶものや、形状を補助情報に使うものがある。著者らは、画像ごとの形状抽出では連続した歩き方を十分に扱えず、赤外線では人物領域の抽出も乱れやすいと指摘する。

DinoGRLは動画から歩行と外観の特徴をそれぞれ抽出し、相互に補強する。実験表にはHD-GIやAuxNetとの比較があるが、表の成績差だけで個々の構成要素の効果は切り分けられない。

実験結果

著者らのHITSZ-VCMにおける6フレームの比較では、赤外線から可視光を探す設定でDinoGRLのR@1は72.5、mAPは61.1、HD-GIは71.4、57.9だった。逆方向ではDinoGRLが76.1、62.3、HD-GIが74.9、60.2だった。R@1は正解が首位になる割合、mAPは候補の順位全体を考慮する指標だ。

BUPTCampusの10フレーム設定では、赤外線から可視光へのR@1とmAPはDinoGRLが65.0、62.2、AuxNetが63.6、61.1だった。逆方向はDinoGRLが70.3、64.1、AuxNetが62.7、60.2と著者らは報告する。これらは表に記載されたデータセット、方向、動画長での比較値である。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:施設の可視光カメラに映った歩行者を、暗い通路の赤外線カメラの動画から探す。入力は両方式で撮影した歩行動画、出力は同一人物と思われる候補を順位付きで示す一覧とし、担当者が元の映像を確認する。

検討には可視光・赤外線の撮影機材と、両動画の人物を対応付けた学習用の本人識別ラベルが要る。施設の撮影条件に合わせて学習可能な部分を調整する想定であり、この施設運用の有効性が論文で示されたわけではない。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:可視光と赤外線のカメラで歩行動画を集め、両方式の動画に共通の本人識別ラベルを付ける。学習用と評価用で人物を分け、DINOv2を固定し、輪郭生成・歩行・外観の学習可能な部分を現場の映像に合わせて調整する。

比較基準は同じ動画とラベルを使う外観特徴のみの照合とする。両方向のR@1とmAPに加え、人物領域が乱れる例と動画1件当たりの処理時間を記録する。輪郭の正解ラベルが別途必要かどうかは、採用する学習手順を確認して決める。

限界と課題

著者らが挙げる課題は、従来の人物領域抽出が特に赤外線で乱れやすいことと、輪郭だけでは外観の細部が欠けることだ。これらは提案手法の失敗率を示す報告ではない。確認できた本文の範囲では、撮影条件別の失敗例や処理時間は分からない。

編集上の検証事項は、暗所、遮蔽、歩行以外の動作での候補順位と人物領域の品質である。BUPTCampusの表には動画のフレーム数が異なる比較行もあるため、成績を読む際は各行の条件を確かめる必要がある。

研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

DINOv2 Driven Gait Representation Learning for Video-Based Visible-Infrared Person Re-identification

Video-based Visible-Infrared person re-identification (VVI-ReID) aims to retrieve the same pedestrian across visible and infrared modalities from video sequences. Existing methods tend to exploit modality-invariant visual features but largely overlook gait features, which are not only modality-invariant but also rich in temporal dynamics, thus limiting their ability to model the spatiotemporal consistency essential for cross-modal video matching. To address these challenges, we propose a DINOv2-Driven Gait Representation Learning (DinoGRL) framework that leverages the rich visual priors of DINOv2 to learn gait features complementary to appearance cues, facilitating robust sequence-level representations for cross-modal retrieval. Specifically, we introduce a Semantic-Aware Silhouette and Gait Learning (SASGL) model, which generates and enhances silhouette representations with general-purpose semantic priors from DINOv2 and jointly optimizes them with the ReID objective to achieve semantically enriched and task-adaptive gait feature learning. Furthermore, we develop a Progressive Bidirectional Multi-Granularity Enhancement (PBMGE) module, which progressively refines feature representations by enabling bidirectional interactions between gait and appearance streams across multiple spatial granularities, fully leveraging their complementarity to enhance global representations with rich local details and produce highly discriminative features. Extensive experiments on HITSZ-VCM and BUPT datasets demonstrate the superiority of our approach, significantly outperforming existing state-of-the-art methods.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01