アーカイブ / Computer Vision
画像分類モデルをまたぐ敵対的画像を作る、周波数強調と勾配抑制
COGO
COGOの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
(a)
概要
- COGOは画像の中・低周波成分を強め、代理ViT固有とみなす勾配を抑えて敵対的画像を作る。
- 著者らの実験では、ViT-B/16からCaiT-S/24への攻撃成功率はCOGOが81.5%、GNS-HFAが65.7%だった。
- 工場画像への利用は編集上の応用案であり、同じ分類課題の代理モデルとラベル付き画像を使った検証が必要である。
補足:編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、COGOの仕組み
- 01元画像と変更量
- 02雑音と周波数変換
- 03CEで強調し画像に戻す
- 04代理ViTでISを適用
- 05敵対的画像
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
COGOは、代理の画像分類モデルで作った敵対的画像を、別のモデルにも転移させる手法である。敵対的画像とは、元画像に小さな変更を加え、モデルの分類を誤らせようとする画像をいう。
対象モデルの内部が見えない場合、代理モデルで変更量を計算する。ただし、そのモデル固有の判断に合わせすぎると別のモデルでは効きにくい。著者らは、こうした転移の弱さを、画像分類モデルの耐性を調べるうえでの課題としている。
手法
元画像に変更量と雑音を加え、離散コサイン変換(DCT)で周波数成分に分ける。周波数成分は、画像の大まかな形から細かな模様までを表す値である。CEは各成分の強さを基に中・低周波側を強め、空間マスクをかけて画像に戻し、代理の画像用Transformer(ViT)へ入力する。
次にISが、分類を誤らせる方向を示す勾配を調整する。チャネルという内部の情報の通り道同士について、情報の重なりと相関を測り、しきい値を超える組の勾配を弱める。追加情報を持つトークンがあるモデルでは、その勾配も調整する。変更量の更新を繰り返し、別の分類モデルで試す画像を得る。
新規性
COGOは、画像の中・低周波成分を強めるCEと、代理モデルに固有とみなす勾配を弱めるISを組み合わせる。前者をモデルへの入力を作る過程に、後者を変更量を更新する過程に置く。
ISは勾配の大きさだけで一律に重みを決めない。チャネル間で情報が重なる度合いと、追加トークンの勾配を別々に扱い、代理モデルへの偏りを抑えようとする点が著者らの提案である。
従来手法との違い
HFAは雑音を使って高周波成分に適応する。COGOのCEは画像ごとの周波数成分の強さを参照し、著者らが同じ課題のViTに共通すると考える中・低周波成分を強める。入力のどの成分を重視するかが異なる。
TGRは極端な勾配を抑え、GNS-HFAは中程度の勾配を重視する。COGOのISは、チャネル間の重複と追加トークンとの関係に応じて勾配を調整する。これらは著者らが比較した手法の設計上の違いである。
実験結果
著者らはILSVRC 2012の検証用画像から無作為に選んだ1,000枚を使い、攻撃を10回更新した。各画素の変更量は0~255の尺度で最大8とした。指標は、対象モデルを誤分類させた割合を表す攻撃成功率で、ViT間と、ViTから通常または防御付きのCNNへの転移を調べた。
表1では、ViT-B/16を代理、CaiT-S/24を対象とした成功率がCOGOで81.5%、GNS-HFAで65.7%だった。同じ代理モデルから防御付きInception-ResNet-v2への結果は、それぞれ19.4%と15.0%である。いずれも著者らが示した条件での値である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案:工場で保存済みの製品外観画像を分類する社内モデルの耐性点検に使う。品目ラベル付き画像と、同じ分類課題に合わせた代理ViTを入力にCOGOで敵対的画像を作り、対象モデルの分類が変わった事例を担当者に示す。
代理モデルの準備には品目を覆う学習画像と正解ラベルが要る。保存済み画像を使う想定なので追加センサーは要らず、撮影条件、画像形式、前処理、ラベル対応を点検対象に合わせる。工場画像での効果は論文の実験結果ではない。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案:対象の製品外観分類器と、同じ品目ラベルで学習した代理ViTを用意する。代理モデルには品目を覆う学習画像と正解ラベル、点検には学習と分けた評価画像と正解ラベルが要る。保存済み画像を使う計画なら追加センサーは要らない。
画像サイズ、正規化、ラベル対応を対象モデルに合わせ、同じ評価画像と変更量の上限でCOGOとGNS-HFAを比較する。元画像での正解率、変更後の攻撃成功率、画像の見え方、1枚当たりの処理時間を記録し、結果が特定の品目に偏らないか確認する。
限界と課題
著者らは、ViTを代理モデルとしてCNNに攻撃を転移させる場合、性能が低下すると述べている。実験の画像はILSVRC 2012の検証用画像であり、表の成功率を製品外観画像へそのまま当てはめる根拠はない。
編集上の検証事項は、撮影条件や分類体系が変わっても結果が続くか、人が変更後の画像をどう認識するか、処理時間が点検業務に収まるかである。追加トークンを持たない代理モデルでISをどう適用するかも、採用するモデルに即して確認する必要がある。
出典
元のタイトル・要旨を確認する(英語)
Boosting Adversarial Transferability via Commonality-Oriented Gradient Optimization
Exploring effective and transferable adversarial examples is vital for understanding the characteristics and mechanisms of Vision Transformers (ViTs). However, adversarial examples generated from surrogate models often exhibit weak transferability in black-box settings due to overfitting. Existing methods improve transferability by diversifying perturbation inputs or applying uniform gradient regularization within surrogate models, yet they have not fully leveraged the shared and unique features of surrogate models trained on the same task, leading to suboptimal transfer performance. Therefore, enhancing perturbations of common information shared by surrogate models and suppressing those tied to individual characteristics offers an effective way to improve transferability. Accordingly, we propose a commonality-oriented gradient optimization strategy (COGO) consisting of two components: Commonality Enhancement (CE) and Individuality Suppression (IS). CE perturbs the mid-to-low frequency regions, leveraging the fact that ViTs trained on the same dataset tend to rely more on mid-to-low frequency information for classification. IS employs adaptive thresholds to evaluate the correlation between backpropagated gradients and model individuality, assigning weights to gradients accordingly. Extensive experiments demonstrate that COGO significantly improves the transfer success rates of adversarial attacks, outperforming current state-of-the-art methods.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01




