アーカイブ / Computer Vision
画像分類で「ほかの候補ではない理由」を示す手法の再現検証
Weighted Contrastive Explanation
Weighted Contrastive Explanationの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Reproducing of Figure 3 in the original paper with ϵ = 3 × 10 − 3 \epsilon=$3\text{\times}{10}^{-3}$ . Changes in accuracy, y t y_{t} and p t p_{t} (t is the target classification class) when certain input features are perturbed. Perturbed features are selected based on four gradient explanations (original, mean, max and weighted), where original is directly with respect to the gradients of the logits.
概要
- 重み付き対比は、対象クラスの説明から競合クラスの説明を予測値に応じて差し引く。
- 著者らは画素摂動とぼかし・隠蔽の実験で原研究の主要な傾向を再現したが、説明図の見た目は一致しなかった。
- XGradCAMなどへの適用を試した一方、修正したFullGradとVision TransformerへのGradCAM適用には表示上の課題があった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Weighted Contrastive Explanationの仕組み
- 01鳥の画像
- 02クラス別スコア
- 03競合候補を重み付け
- 04対比の説明図
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
画像分類モデルが鳥の種類を選んだとき、選ばれたクラスに関係する部分を示すだけでは、似た別の鳥を選ばなかった理由は読み取りにくい。複数の候補に共通する領域と、候補を分ける領域を見分けることは、誤分類の調査に役立つ可能性がある。
本論文は、その違いを画像上に示す既存手法を再現検証した。元の実験結果と表示を照合し、別の説明法や画像分類モデルにも適用できるかを調べている。
手法
分類モデルに画像を入れ、各クラスの分類前スコアを得る。ソフトマックスはそれらを合計が1になる予測確率に変える計算で、逆伝播は出力から計算をさかのぼって画像内の領域との関係を求める処理である。原研究の手法は、多くの勾配に基づく説明法で、対象クラスの確率から逆伝播して説明を作る。
例えば鳥の画像で複数の鳥種が候補になれば、対象の鳥種についての説明から、ほかの鳥種についての説明を予測値に応じて差し引く。得られた値をGradCAMなどで画像上の色の分布として示し、正と負の領域を読む。図はモデルの出力に関係する場所を示すが、それだけで誤判定の原因を証明するものではない。
新規性
原研究の重み付き対比は、対象クラスの説明から、ほかのクラスの説明を予測値に応じた重みで差し引く。複数の競合クラスを同時に扱い、多くの勾配に基づく説明法では、確率から逆伝播する計算で実現できると原研究は示した。
本論文の追加点は、その結果を再現し、XGradCAM、FullGrad、Vision Transformerにも適用を試みたことにある。説明法によっては、正と負の領域を表示するための調整が必要だった。
従来手法との違い
比較対象は、対象クラスの分類前スコアだけを使う通常法、ほかのクラスをまとめて差し引く方法、最も有力な競合クラスだけを差し引く方法である。重み付き対比では、各競合クラスの予測値に応じて差し引く量を変える。
著者らの画素摂動実験では、通常法などは分類前スコア、重み付き対比と最有力候補を使う方法は予測確率と正解率の変化に対応した。これは試したモデルと条件での比較であり、説明図の見た目は原研究と一致しなかった。
実験結果
著者らはILSVRC2012の検証画像と9種類の分類モデルで画素摂動を試し、正解率、対象クラスの分類前スコア、予測確率の変化を比べた。摂動幅は原研究の記載値と異なり、原著者に確認した3×10⁻³を使った。著者らは主要な傾向を再現したと報告する。
別の実験では、CUB-200で調整したバッチ正規化付きVGG-16を使い、第二候補の確率が0.1を超える画像を評価した。同数の画素にガウスぼかしを施し、GradCAMで第一候補の正の領域を残す条件では、上位2クラス間の平均相対確率は通常法0.747、重み付き対比0.858だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案。鳥種分類モデルが似た鳥を取り違えた画像を、担当者が調べる場面を想定する。入力は鳥種ラベル付き画像で調整したモデル、保存済みの鳥画像、候補ごとの予測値であり、追加センサーは使わない。
モデルに合わせて説明法を調整し、上位候補それぞれの説明図を画像に重ねて記録する。出力は、鳥の特徴や背景のどこに反応したかを点検するための図と候補一覧とする。表示だけで誤判定の原因は確定できない。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案。鳥種ラベル付きの学習画像で調整した分類モデルと、正解ラベル付きの別の評価画像を用意する。入力は保存済み画像とモデルの予測値とし、追加センサーは使わない。対象クラスの分類前スコアから説明を作る通常法を比較基準にする。
同じ説明法を対象クラスの確率から逆伝播する形へ調整し、両方式で同数の画素をぼかす。正解率と上位2クラス間の相対確率の変化を記録し、背景を強く示す事例も数える。モデル、対象層、表示条件を固定して差を確かめる。
限界と課題
著者らは、原研究で手順の記述が不足し、画素摂動の式と設定値にも誤りがあったと報告した。再現した説明図の正負の領域の大きさも原研究と異なり、修正したFullGradでは正規化前に負の領域しか得られなかった。
著者らによるVision TransformerへのGradCAM適用では、多くの画像で意味を読み取りにくい図となった。編集上の検証事項として、モデルの重み、説明を取る層、表示条件を記録し、示された領域が実際に予測を左右するかを導入先の画像で確かめる必要がある。
出典
元のタイトル・要旨を確認する（英語）
Reproducibility review of "Why Not Other Classes": Towards Class-Contrastive Back-Propagation Explanations
"Why Not Other Classes?": Towards Class-Contrastive Back-Propagation Explanations (Wang & Wang, 2022) provides a method for contrastively explaining why a certain class in a neural network image classifier is chosen above others. This method consists of using back-propagation-based explanation methods from after the softmax layer rather than before. Our work consists of reproducing the work in the original paper. We also provide extensions to the paper by evaluating the method on XGradCAM, FullGrad, and Vision Transformers to evaluate its generalization capabilities. The reproductions show similar results as the original paper, with the only difference being the visualization of heatmaps which could not be reproduced to look similar. The generalization seems to be generally good, with implementations working for Vision Transformers and alternative back-propagation methods. We also show that the original paper suffers from issues such as a lack of detail in the method and an erroneous equation which makes reproducibility difficult. To remedy this we provide an open-source repository containing all code used for this project.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01