アーカイブ / Computer Vision
熱画像の物体検出を学習時のクラス分離とRGB教師モデルで補うCGDet
CGDet
CGDetの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: (a) Conventional thermal-to-visible(T2V). A pix2pix [ 2 ] -style translator with a U-Net generator and a PatchGAN discriminator. (b) TIRDet [ 4 ] . A frozen T2V produces a pseudo-RGB that is early-fused with thermal. (c) Ours . The RCS module improves class separability in the feature space.
概要
- CGDetは、正解枠の特徴をクラス別に分けるRCSと、RGB教師モデルの特徴を伝えるCMGを学習に加える。
- 著者はFLIR-alignedの３クラス評価でmAP 47.1、mAR 54.6を報告した。
- 動く対象や遠方の小さな歩行者の見逃しが報告されている。熱画像だけで検出する入力経路の確認も必要である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、CGDetの仕組み
- 01熱画像
- 02多段の特徴
- 03検出ヘッド
- 04３種の検出枠
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
CGDetは、夜間の熱画像から人・自転車・車の位置を検出する方法である。熱赤外画像は物体が放つ熱を捉えるが、対象と背景の温度差が小さいと輪郭や細部を見分けにくい。著者は、検出枠の重複、小さな対象の見逃し、クラスの取り違えを課題に挙げる。
道路映像でこれらの誤りが起きると、候補位置を確認する担当者の作業にも影響する。著者は、検出時の入力を熱画像に絞ることを目標に、学習時の特徴の作り方を変えた。
手法
CGDetは検出器の通常の学習に二つの補助目標を加える。RCSは正解の囲み枠に対応する領域（RoI）を、多段の画像特徴から取り出す。同じクラスの特徴を近づけ、異なるクラスを離す対比学習を行う。例えば、人の領域同士を近づけ、人と自転車の領域は分ける。特徴とは、画像を判別に使いやすい数値に変えた表現を指す。
CMGは、RGB画像で学習済みの教師モデルを固定し、生徒モデルが作る複数段の特徴を教師の特徴に近づける。この知識蒸留では、各段の値の差と向きの差を学習に使う。実験手順には、熱画像から生成したRGB画像を熱画像と結合し、生徒モデルへ入れる記述もある。著者は検出時に教師と生成RGBを外すと説明するが、入力構成の切り替え方は明確でない。
新規性
CGDetは、正解枠に対応する特徴をクラス別に分けるRCSと、RGB画像で学習した教師モデルの特徴を熱画像側に伝えるCMGを、検出器の学習に加える。前者はクラスの混同、後者は熱画像で不足しがちな細部の手掛かりを扱う。
著者は両方を学習時だけの補助目標とし、検出時は熱画像だけを使うと主張する。ただし、学習時の入力構成から検出時の入力構成への切り替えは、本文の記述だけでは確認しきれない。
従来手法との違い
TIRDetは熱画像から生成した疑似RGB画像を熱画像と結合して検出に使う。CGDetは、正解枠の特徴をクラス別に分ける学習と、RGB教師モデルからの特徴伝達を加え、著者は検出時には熱画像だけを入力すると説明する。
FLIR-alignedの比較表では、mAPはCGDetが47.1、TIRDetが44.3、熱画像入力のYOLOX-Lが42.0だった。表中の骨格モデルはCGDetがMobileNetV2、両比較対象がCSPD53で異なるため、この差を二つの補助目標だけの効果とは解釈できない。
実験結果
著者は、位置合わせを修正したFLIR-alignedの人・自転車・車の３クラスを評価した。5,142組の画像対のうち学習用は4,129組、試験用は1,013組である。比較表ではCGDetのmAP50が82.8、mAP75が47.2、mAPが47.1、mARが54.6と報告された。mAPは平均適合率、mARは平均再現率を表す。
別の効率比較表では、TIRDet-SのmAP 41.7、mAR 51.4に対し、CGDetは47.1、54.6だった。パラメータ数は順に953万と315万、演算量は339.7と331.4 GFLOPsである。著者は効率値を、学習時の補助目標を外した検出器の経路で測ったとしている。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：夜間の道路映像から人・自転車・車の候補位置を出し、担当者が映像で確認して記録する。運用時の入力は現場の熱画像、出力はクラス名と検出枠を想定する。現場での精度は未検証である。
適応には、現場で収集した熱画像と対応するRGB画像、対象物のクラス名と囲み枠のラベルが必要になる。学習時には両画像の位置関係を確認し、RGB教師モデルと熱画像側の検出器を現場データに合わせる。運用時に熱画像だけで動くかも確認する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：現場で熱画像と対応するRGB画像を集め、両カメラの画角と位置関係を確かめる。人・自転車・車のクラス名と囲み枠を付け、学習用と評価用に分ける。RGB教師モデル、生成RGBの利用、生徒モデルの入力を現場データに合わせて確認する。
同じ評価用データで、熱画像だけを使う基本検出器とCGDetを比べる。クラス別の見逃しと重複枠、mAP、mARを記録し、距離や動きによる差も調べる。検出時の入力が熱画像だけで済むか、処理時間が運用条件に収まるかを実機で測る。
限界と課題
著者の失敗例には、動きによるぶれで見逃した自転車利用者と、遠方の小さな歩行者がある。同じクラスの学習領域が少ない場合や、RGB教師モデルの判断が不確か、または対応がずれる場合には、補助目標の効果が弱まるとも述べる。
編集上の検証事項は、撮影距離、対象の動き、温度差ごとの見逃しと重複枠である。本文には、学習時に生成RGB画像と熱画像を結合して生徒モデルへ入れる記述がある一方、検出時は熱画像だけとある。入力経路の切り替え方を確認する必要がある。
出典
元のタイトル・要旨を確認する（英語）
Contrast-Guided Cross-Modal Distillation for Thermal Object Detection
Robust perception at night remains challenging for thermal-infrared detection: low contrast and weak high-frequency cues lead to duplicate, overlapping boxes, missed small objects, and class confusion. Prior remedies either translate TIR to RGB and hope pixel fidelity transfers to detection -- making performance fragile to color or structure artifacts -- or fuse RGB and TIR at test time, which requires extra sensors, precise calibration, and higher runtime cost. Both lines can help in favorable conditions, but do not directly shape the thermal representation used by the detector. We keep mono-modality inference and tackle the root causes during training. Specifically, we introduce training-only objectives that sharpen instance-level decision boundaries by pulling together features of the same class and pushing apart those of different classes -- suppressing duplicate and confusing detections -- and that inject cross-modal semantic priors by aligning the student's multi-level pyramid features with an RGB-trained teacher, thereby strengthening texture-poor thermal features without visible input at test time. In experiments, our method outperformed prior approaches and achieved state-of-the-art performance.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01