アーカイブ / Computer Vision
画像分類の注目領域を、複数層の一致で絞り込むHiRA-CAM
HiRA-CAM
HiRA-CAMの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1 : Qualitative comparison of class activation maps generated using Grad-CAM, Layer-CAM, and the proposed HiRA-CAM on ImageNet validation images using VGG-16 (rows 1-2), ResNet-50 (rows 3-4) and DenseNet-121 (rows 5-6). HiRA-CAM produces more compact, and object-focused saliency maps, suppressing background activations.
概要
- 選んだCNNの層別の注目図を区画単位で照合し、最も深い層の図を調整する。
- 著者らはImageNet検証画像2,000枚と三つのCNNで、比較したGrad-CAM、LayerCAMより良いPointing GameとDeletion AUCを報告した。
- 固定格子が対象物の形に合うかは今後の課題で、製造現場での効果は別途検証が必要。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、HiRA-CAMの仕組み
- 01画像と対象分類
- 02層別の注目図
- 03区画ごとの一致
- 04深い層の図を調整
- 05最終注目図
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
HiRA-CAMは、画像分類モデルの判定に関係すると推定された場所を注目図として示す。対象は畳み込みニューラルネットワーク（CNN）で、画像の模様や形を複数の層で捉える分類モデルだ。
注目が背景まで広がると、利用者はモデルが対象物のどこに反応したかを読み取りにくい。著者らは、層ごとに異なる位置情報を使い、分類対象に沿った注目領域を示すことを目指した。
手法
画像と調べたい分類区分を入力し、選んだ畳み込み層ごとにLayerCAM方式の注目図を作る。各位置で、分類スコアが特徴の値にどれだけ敏感かを示す「勾配」と、その特徴の値を組み合わせる。例えば「傷あり」という区分なら、その判定に正に関係する位置の強さを層ごとに表す。
各図をぼかして値をそろえ、固定された格子状の区画ごとに平均する。層ごとの値の分布から基準を決め、境界付近も段階的に重み付けして、区画への注目が複数層で一致する度合いを求める。その度合いと最も深い層の区画の値から図を組み直し、元の深い層の図も混ぜて、位置ごとの注目度を出力する。
新規性
HiRA-CAMの特徴は、選んだ畳み込み層の注目図を画素ごとに混ぜず、区画単位で注目が重なるかを調べる点にある。浅い層の情報は、最終図に残す領域の判断に使う。
最終図の区画ごとの強さは、最も深い層の値と層間の一致度から決める。元の深い層の図も混ぜ、区画単位の処理で注目範囲が狭まりすぎるのを抑える設計である。
従来手法との違い
Grad-CAMは最後の畳み込み層に入る勾配を使って注目図を作るため、位置の特定が粗くなる場合がある。LayerCAMは各位置の勾配と特徴の値を組み合わせ、層ごとの細かな位置情報を残す。HiRA-CAMは、このLayerCAMの層別の図を出発点とする。
変更点は、平滑化した図を区画ごとに集計し、複数層で注目される領域を使って深い層の図を調整することだ。論文の性能比較は、ImageNetの検証画像と指定された三つの分類モデルで行われている。
実験結果
著者らはImageNet ILSVRC 2012の検証画像2,000枚で、ImageNetで事前学習したVGG16、ResNet-50、DenseNet-121を評価した。入力は必要に応じて切り抜いた224×224画素で、Grad-CAMとLayerCAMを同じ設定で比較した。評価には位置特定のloc1・loc5、注目位置が対象内にあるかを見るPointing Game、重要な画素を順に消したときの分類スコアの変化を表すDeletion AUCを用いた。
ResNet-50で著者らが報告したHiRA-CAM、LayerCAM、Grad-CAMの順の値は、loc1が45.1％、42.6％、38.9％、Pointing Gameが68.1％、62.9％、56.7％、Deletion AUCが0.33、0.40、0.47だった。Deletion AUCは低いほど良い。画素削除の曲線は、検証画像150枚の平均として示されている。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案。製造ラインの製品写真を分類する既存の畳み込みニューラルネットワークに適用し、「傷あり」と判定した画像の注目図を検査員へ示す。入力は撮影画像と調べる判定区分、出力は画像に重ねて確認できる注目図とする。
この用途には、現場カメラの画像、傷あり・なしの学習用ラベル、確認用画像に付ける傷位置の印が必要だ。製品や撮影条件に分類モデルを合わせ、選ぶ層と区画の設定を調整する。注目図が検査に役立つかは現場で確かめる。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案。現場カメラの製品画像を集め、傷あり・なしのラベルで分類CNNを用意する。別の確認用画像には傷位置の印を付け、製品の種類と撮影条件を記録する。既存モデルを使う場合も、現場画像で分類結果を確認してから層と区画の設定を決める。
同じモデルと画像でHiRA-CAM、LayerCAM、Grad-CAMの注目図を作る。傷の印に最も強い注目位置が入る割合、画素を消した際の分類スコアの変化、背景への反応を比べる。区画の大きさを変えた結果と検査員の確認記録も照合する。
限界と課題
著者らは、固定格子の区画を対象物の形に合わせる方法、より広い層の選択や層ごとの重要度付けを今後の研究課題に挙げる。枠による位置評価に加え、領域の重なりや人による評価を調べる必要も述べている。
編集上の検証事項は、撮影条件や小さな傷が変わっても図が安定するか、区画の大きさで判断が変わるかである。注目図や画素削除時のスコア変化だけでは、傷の真因や分類結果の正しさまでは証明できない。
出典
元のタイトル・要旨を確認する（英語）
HiRA-CAM: Preserving Fine-Grained Spatial Relevance in Gradient-Based Visual Explanations
Deep Learning models can include billions of parameters or more, making it difficult to explain their internal transformations and outputs. However, explainability is increasing in importance due to the use of AI in crucial applications. This paper focuses on the interpretability of convolutional neural networks (CNNs). Building on the popular gradient based method LayerCAM for extracting internal features in CNNs, we propose an improved method named HiRA-CAM, and show that it outperforms both LayerCAM and Grad-CAM on creating useful saliency maps for object classification. The main feature of HiRA-CAM is its adaptive use of activation maps from all the layers of the CNN to arrive at a more focused saliency map.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01