アーカイブ / Computer Vision
可視光と赤外線の画像を使い、ドローン映像の頭部位置と人数を推定するTAPNet
TAPNet
TAPNetの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Examples of infrared and visible images . (a) The two rows of people on the left are almost invisible in the visible spectrum under low light conditions, illustrating the fact that IR images are more advantageous in low light conditions. (b) Example of RGB-TIR modal misalignment, showing that the modal misalignment problem is more prominent in target detection from the UAV viewpoint, where the yellow and red boxes denote the annotations of the same objects in the TIR image and the RGB image, respectively.
概要
- TAPNetは可視光と赤外線の画像を融合し、頭部の点位置と人数を推定する。
- 著者は注意融合、位置ずれに向けた適応的融合、学習時のランダムな位置ずらしを提案した。
- DroneRGBTとGAIIC2での改善を報告するが、確認できた本文には評価指標や結果の数値がない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、TAPNetの仕組み
- 01可視光・赤外線画像
- 02画像特徴の抽出と融合
- 03頭部点候補の予測
- 04頭部座標と確信度
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
ドローン画像から群衆を数えるとき、暗所では可視光画像に人が写りにくく、密集時には頭部が重なって数えにくい。人数に加えて各人の位置を得られれば、画像内のどこに人が集まるかも確認できる。
赤外線画像は可視光画像を補う情報源になる。ただし、二種類の画像はセンサーの画角や撮影時刻の違いで位置がずれ、同じ人の像が同じ座標に現れるとは限らない。このずれを踏まえた融合が、頭部点の推定では課題となる。
手法
TAPNetは二種類の画像から特徴を取り出し、頭の位置を点として予測する。特徴とは、画像から抽出した形や明るさなどの手掛かりを指す。注意融合では、特徴の種類と画像内の位置に重みを付けて両画像を合わせ、頭部点の座標と、その予測をどれほど支持するかを表す確信度を出す。
本文は位置ずれに対応する別の適応的融合経路も説明する。画像全体の構造と細部の情報を分けて統合し、融合画像から特徴を抽出する構成だ。点の学習には、予測点と正解点を一対一に割り当てる照合と、正解点の周辺に置く補助点を使う。画像をランダムにずらす学習方法も提案されるが、二つの融合経路を順番に通すとは本文から断定できない。
新規性
著者の提案は、可視光と赤外線を使う頭部点推定に、情報の種類と画像内の位置に応じて重みを付ける注意融合を導入した点にある。暗所で可視光画像から得にくい情報を、赤外線画像で補う狙いだ。
さらに、画像対の位置ずれに向けた適応的な融合モジュールと、学習時に画像の位置をランダムにずらす方法を提案する。点の候補を正解点に対応付ける仕組み自体は、拡張元のAPGCCを利用している。
従来手法との違い
比較の起点は、著者が拡張した点推定方式のAPGCCである。APGCCには赤外線画像を使う仕組みがなく、TAPNetは二種類の画像を扱う融合機構を加える。確認できた本文では、両者の数値による差は示されていない。
別の方式である密度マップ法は、各画素の人数分布を予測して合計する。TAPNetが採る点推定方式は、頭部の座標を直接予測するため、人数とともに位置を出せる。ただし、方式間の精度差をこの説明から判断することはできない。
実験結果
著者は、公開データセットDroneRGBTとGAIIC2で既存手法を上回ったと報告し、特に暗く人が密集した場面での性能を強調する。対象は、ドローン視点の可視光・赤外線画像を使う人数計測と頭部位置の推定である。
確認できた本文の範囲では、実験結果の表、評価指標の名称と数値、データ分割、比較対象ごとの条件は確認できない。そのため、APGCCとの改善幅や、暗所だけを取り出した場合の差は算出できない。導入の判断には、条件が明記された結果と現場画像での再測定が必要だ。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：夜間を含む屋外イベントで、ドローンから得た同じ場面の可視光・赤外線画像を入力し、推定した頭部点と人数を時刻ごとに担当者へ表示する。担当者が画像と照らして混雑箇所を確認する補助に使う想定だ。
適用には、対応する二種類の撮影画像と、学習・検証用に人が付けた頭部点ラベルが要る。両画像の撮影時刻や画角を記録し、現場で起きる位置ずれを含むデータで学習を調整する。表示した点と人数が判断に役立つかも、担当者と確認する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象現場で対応する可視光・赤外線画像を集め、各画像の撮影時刻と画角を記録し、頭部中心に点ラベルを付ける。昼夜、人数の疎密、画像間のずれを含め、撮影場面が学習用と評価用にまたがらないよう分ける。
現場データで学習を調整し、同じ評価画像を使う可視光のみの点推定を比較基準に置く。画像ごとの人数の絶対誤差と、正解点から事前に決めた距離内にある予測点の割合を測り、昼夜と密集度別に集計する。必要な精度と許容距離は利用目的に合わせて先に定める。
限界と課題
著者が課題として挙げるのは、暗所や密集時の見落としと、可視光・赤外線画像間の系統的な位置ずれである。確認できた本文の範囲では、TAPNet自身の失敗条件や処理時間を定量化した結果までは確認できない。
編集上の検証事項として、撮影時刻・画角の差が大きい画像対、頭部が重なる場面、赤外線画像でも対象が判別しにくい場面で誤差を測る必要がある。撮影条件が変わったときの精度と、頭部点の誤りが人数表示に及ぼす影響も、現場データで調べたい。
出典
元のタイトル・要旨を確認する（英語）
Transformer-Based Dual-Optical Attention Fusion Crowd Head Point Counting and Localization Network
In this paper, the dual-optical attention fusion crowd head point counting model (TAPNet) is proposed to address the problem of the difficulty of accurate counting in complex scenes such as crowd dense occlusion and low light in crowd counting tasks under UAV view. The model designs a dual-optical attention fusion module (DAFP) by introducing complementary information from infrared images to improve the accuracy and robustness of all-day crowd counting. In order to fully utilize different modal information and solve the problem of inaccurate localization caused by systematic misalignment between image pairs, this paper also proposes an adaptive two-optical feature decomposition fusion module (AFDF). In addition, we optimize the training strategy to improve the model robustness through spatial random offset data augmentation. Experiments on two challenging public datasets, DroneRGBT and GAIIC2, show that the proposed method outperforms existing techniques in terms of performance, especially in challenging dense low-light scenes. Code is available at https://github.com/zz-zik/TAPNet
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01