アーカイブ / Computer Vision
ViTの裏口は内部表現の「方向」で追えるか：既知の引き金を使った分析
Backdoor Directions in Vision Transformers
Backdoor Directions in Vision Transformersの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Derivation of the backdoor (BD) direction at layer l l (top). PCA projections of internal activations for clean and backdoored images at an intermediate layer alongside the resulting BD direction (bottom).
概要
- 既知の引き金を加える前後の画像を比べ、ViTの各層で内部表現の「裏口方向」を求める。
- 介入前ASRが90％以上の33モデルでは、重みから方向の成分を除くと平均ASRが97.7％から6.7％になった。
- 方向の算出には引き金の知識が必要で、別途提案された重みだけによる検出法はパッチ型のTrojanNNには機能しない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Backdoor Directions in Vision Transformersの仕組み
- 01元画像と引き金画像
- 02層ごとの差を平均
- 03裏口方向を算出
- 04予測への介入
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
裏口攻撃では、特定の模様などの「引き金」を画像に加え、正解ラベルも攻撃先クラスに変えたデータを学習に混ぜる。通常画像では分類器の異常が見えにくく、引き金付き画像だけで予測を変えられることが点検上の問題になる。
著者らは、画像を小領域に分けて処理するViTでは、既存の防御が広く分散した引き金に十分対応できないと述べる。そこで、引き金の情報がモデル内部のどこに現れ、層を通じてどう伝わるかを調べた。
手法
同じ画像の元画像と引き金付き画像を対にし、ViTの各層で得られる数値表現の差を平均して「裏口方向」を求める。方向とは、引き金の有無に応じて内部表現が変わる数値の並びである。例えば同じ写真の二つの版を対象モデルに通し、層ごとの差を集める。
次に、元画像の内部表現へ方向を足し、引き金付き画像からは引いて、予測への影響を測る。ViTが分類に使う特別な情報単位「CLSトークン」だけを操作する場合と、画像の小領域を含む全単位を操作する場合を調べる。別の試験では、層の計算に使う重みから方向の成分を除き、予測とASRの変化を測る。
新規性
著者らは、画像分類用のVision Transformer（ViT）で、引き金の有無に対応する内部表現の差を層ごとに一つの方向として取り出し、その方向への介入が裏口の動作を変えると示した。
この方向を使って引き金の種類による層内の伝わり方も調べた。さらに、引き金を知って求める方向とは別に、重みだけを使って目立ちにくい引き金を検出する方法を提案した。
従来手法との違い
基準は介入前の裏口入りモデルである。引き金付き画像を攻撃先クラスに分類する割合を攻撃成功率（ASR）とし、内部表現への方向の加減算と、重みから方向の成分を除く操作の結果を比べた。
重みを変更する操作では、選別したモデル群の平均ASRが大きく下がった。一方、内部表現への介入は層や対象とする情報単位によって効き方が異なり、著者らは介入量や複数層での操作を最適化していない。
実験結果
著者らはCIFAR10、CIFAR100、TinyImageNetのViT-B-16を、学習データの汚染率0.01、0.05、0.1で調べた。表の平均は、介入前ASRが90％以上の33モデルに限る。この条件で、重みから方向の成分を除くと平均ASRは97.7％から6.7％になった。
同じ33モデルで、通常画像の分類精度は82.8％から82.0％に変わった。著者らは内部表現への方向の加減算でも裏口の動作が変わると報告するが、その効果は操作する層や情報単位で異なる。数値は既知の引き金を使い、介入前ASRで選別したモデル群の結果である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内で使うViT画像分類器の更新前監査で、既知の引き金に対する動作を記録する。入力には対象モデル、元画像と同じ画像に引き金を加えた組、元の正解ラベル、攻撃先クラスを用いる。
引き金の適用手順と、方向の算出に使う元の学習画像を確認したうえで、層ごとの方向と介入前後の予測を監査記録として出力する。保存済み画像を使う想定で追加センサーは不要だが、未知の引き金を見つけられるかは別に検証する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象のViTを複製し、元の学習画像と、それに既知の引き金を加えた画像の組を用意する。元画像の正解ラベル、攻撃先クラス、引き金の適用手順を確認する。保存済み画像を使うなら追加センサーは不要で、方向の算出に新たな学習は想定しない。
まず介入前のASRと通常画像の分類精度を基準値として測る。次に各層の方向を算出し、内部表現への加減算と複製モデルの重み変更を試す。ASRの変化と通常画像の精度低下を併記し、自社データでも監査に使えるか判断する。
限界と課題
著者らは、方向の算出には引き金と裏口入り学習データの知識が必要で、この操作を現実的な防御法とは想定していないと明記する。分析対象は攻撃先クラスを指定し、学習時のラベルも変更する攻撃である。重みだけを使う検出法は、パッチ型のTrojanNNには機能しないと報告した。
編集上の検証事項は、自社モデルで方向が再現するか、ASRを下げたとき通常画像の精度を保てるか、未知の引き金に対する検出性能をどう測るかである。確認できた本文の範囲では、これらを自社環境で保証する結果はない。
出典
元のタイトル・要旨を確認する（英語）
Backdoor Directions in Vision Transformers
This paper investigates how Backdoor Attacks are represented within Vision Transformers (ViTs). By assuming knowledge of the trigger, we identify a specific ``trigger direction'' in the model's activations that corresponds to the internal representation of the trigger. We confirm the causal role of this linear direction by showing that interventions in both activation and parameter space consistently modulate the model's backdoor behavior across multiple datasets and attack types. Using this direction as a diagnostic tool, we trace how backdoor features are processed across layers. Our analysis reveals distinct qualitative differences: static-patch triggers follow a different internal logic than stealthy, distributed triggers. We further examine the link between backdoors and adversarial attacks, specifically testing whether PGD-based perturbations (de-)activate the identified trigger mechanism. Finally, we propose a data-free, weight-based detection scheme for stealthy-trigger attacks. Our findings show that mechanistic interpretability offers a robust framework for diagnosing and addressing security vulnerabilities in computer vision.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01