アーカイブ / Computer Vision
画像モデルの特徴の重なりから転移攻撃を予測できるか
Cross-manifold embedding
Cross-manifold embeddingの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Summary of methodology used to identify shared low-dimensional manifolds. A surrogate model and target model are chosen, then used to create feature vector representations of the same dataset. Dimensionality reduction via the UMAP algorithm enables the cross projection of feature vectors from the target model onto the manifold of the surrogate model. Results are shown for the SI-Score [ 20 ] dataset, with ResNetv2 as the surrogate model and MobileNetv3 as the target model.
概要
- 両モデルが同じ画像から返す特徴を共通空間へ投影し、配置の重なりを距離で測る。
- 著者らは距離と攻撃後の平均精度に中程度の相関を報告したが、相関の符号と攻撃成功に関する説明には整合しない箇所がある。
- 適用には対象モデルの特徴ベクトルと、攻撃結果を測るための正解ラベル付き画像が必要である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Cross-manifold embeddingの仕組み
- 01同じ検査画像
- 02両モデルの特徴取得
- 03共通空間へ投影
- 04配置の距離を算出
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
転移攻撃は、手元の代替モデルで作った攻撃画像を別の対象モデルにも入力する方法である。対象モデルの重みや勾配を知らなくても試せるため、画像認識システムの弱点を調べる際に問題となる。
ただし、代替モデルで効いた攻撃が対象モデルにも効くとは限らない。著者らは、両モデルが画像から取り出す特徴の似かたを手掛かりに、攻撃の詳細を事前に知らずに転移結果を見積もれるか調べた。
手法
同じ画像群を代替モデルと対象モデルの特徴抽出部に入力し、各画像を特徴ベクトルという数値の列に変える。代替側の列をUMAPという次元削減法で少数の座標に配置し、その変換を対象側の列にも適用する。列の長さが異なる場合は、短い方にゼロを加えてそろえる。
二つの配置の重なりは、正規化対称ハウスドルフ距離で測る。これは各点から相手側の最も近い点までの距離を取り、最も離れた点も反映する尺度で、小さいほど配置が重なる。例えば同じSI-Score画像をResNet50v2とMobileNetv3へ入力し、得た距離を別途測った攻撃結果と照合する。
新規性
著者らは、代替モデルと対象モデルが返す特徴ベクトルを共通の低次元空間に置き、その重なりと転移攻撃の結果を対応づける手法を提案した。攻撃の詳細や対象モデルの重みを予測時に使わない設定である。
長さの異なる特徴ベクトルをゼロで補い、一方のモデルで作った配置へ他方を投影する点も提案の一部である。ただし、対象モデルから特徴ベクトルを取得できることが前提となる。
従来手法との違い
先行する「マニフォールド攻撃モデル」は、転移攻撃が成功する画像はモデル間に共通する低次元の空間に存在する、という説明を示した。本研究は実際の画像特徴抽出モデルの出力を使い、その空間の重なりを測って攻撃結果と照合した。
著者らによれば、別の攻撃成功予測研究には攻撃の性質に関する情報が必要だった。本手法はその情報を予測時に要求しない一方、特徴ベクトルを返さない対象モデルには、記載された手順をそのまま適用できない。
実験結果
著者らはImageNetで学習済みの特徴抽出部を固定し、SI-Score、Fashion-MNIST、NWPU-RESISC45を使って特徴を調べた。攻撃試験では分類層だけを学習し、代替モデルでFGSMという画像を変化させる攻撃を作成した。攻撃強度0.03で測る平均精度AAは、低いほど攻撃が効いたことを示す。
ResNet50v2からMobileNetv3への転移で、著者らはSI-Scoreの距離0.09・AA 0.89、Fashion-MNISTの距離0.12・AA 0.79、RESISCのAA 0.74を報告した。全組み合わせの距離とAAの相関は図で−0.56、本文で−0.57と記される。要旨は類似度と成功率の相関を0.56とするが、距離とAAの負の相関を「距離が小さいほど攻撃成功」と解釈する本文の記述は、AAの定義と整合しない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：画像分類サービスのモデル更新前に、手元の代替モデルから作った攻撃画像が更新先へ転移しやすい組み合わせを調べる。入力には業務画像に近い検査画像、両モデルの特徴ベクトル、攻撃試験に使う画像の正解ラベルが要る。
同じ画像を両モデルへ入力し、特徴の重なりに基づいて追加試験の順序を出力する。その順序で攻撃画像を対象モデルへ入力し、実測結果と照合する。画像以外のセンサーは想定せず、対象モデルで特徴を取得できるようにすることが適用条件となる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：業務入力を代表する検査画像と正解ラベルを用意し、代替モデルと対象モデルの両方から特徴ベクトルを取得できるか確認する。分類層を学習する場合は、そのためのラベル付き画像も必要になる。入力は画像なので、追加センサーは想定しない。
両モデルの特徴を使って距離を計算し、別に代替モデルで作ったFGSM画像を対象へ入力してAAを測る。比較基準は距離を使わない事前固定の試験順序とする。距離で並べた順序が実測AAの順序と合うかをモデルの組み合わせごとに確認し、相関の向きも検証する。
限界と課題
著者らは、最適な次元削減法は未解決で、異なる特徴空間を重ねる数学的条件を詳しく検証していないと述べる。特徴の並び方がモデル間で異なれば、投影後の距離が共通表現や攻撃成功を正しく示さない可能性も挙げている。
編集上の検証事項は、対象システムから特徴ベクトルを取得できるか、検査画像が業務入力を代表するか、別のモデルやデータでも関係が保たれるかである。距離と平均精度の相関の符号は本文の成功率に関する説明と整合しないため、距離だけで試験の優先順位を決める前に実測で確かめたい。
出典
元のタイトル・要旨を確認する（英語）
Towards Predicting the Success of Transfer-based Attacks by Quantifying Shared Feature Representations
Much effort has been made to explain and improve the success of transfer-based attacks (TBA) on black-box computer vision models. This work provides the first attempt at a priori prediction of attack success by identifying the presence of vulnerable features within target models. Recent work by Chen and Liu (2024) proposed the manifold attack model, a unifying framework proposing that successful TBA exist in a common manifold space. Our work experimentally tests the common manifold space hypothesis by a new methodology: first, projecting feature vectors from surrogate and target feature extractors trained on ImageNet onto the same low-dimensional manifold; second, quantifying any observed structure similarities on the manifold; and finally, by relating these observed similarities to the success of the TBA. We find that shared feature representation moderately correlates with increased success of TBA (\r{ho}= 0.56). This method may be used to predict whether an attack will transfer without information of the model weights, training, architecture or details of the attack. The results confirm the presence of shared feature representations between two feature extractors of different sizes and complexities, and demonstrate the utility of datasets from different target domains as test signals for interpreting black-box feature representations.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01