アーカイブ / Computer Vision
教師の予測分布と区間境界を使い、画像分類の保証付き正解率を高めるAD-CERT
AD-CERT
AD-CERTの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Overview of AD-CERT (§ 3.1 ) loss formulation, which combines adversarial distillation (blue) with IBP (orange).
概要
- AD-CERTは、固定した教師の予測分布を攻撃画像を見る生徒へ移す学習と、IBPによる保証付き学習を組み合わせる。
- 著者らのMNIST実験では、変化幅0.1の保証付き正解率はAD-CERTが98.53%、TAPS/STAPSが98.52%だった。
- 扱う保証は指定したℓ∞の画素変化範囲に限られ、実際の撮影条件での効果は別途検証が必要である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、AD-CERTの仕組み
- 01正解付き画像
- 02教師予測と攻撃画像
- 03蒸留とIBPで学習
- 04検証対象の生徒
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
画像分類器は、元画像からわずかに値を変えた入力で予測を誤ることがある。判定の安定性が重要な用途では、作った攻撃画像に耐えたという結果に加え、定めた入力変化の全範囲で正しい判定を保つかを確かめたい。
保証付き学習は、その範囲で起こり得る最大の損失を上から抑えて訓練する。ただし著者らによると、従来の方法では検証しやすさと、変化のない入力での正解率の両立が課題となる。
手法
AD-CERTは、敵対的学習で事前に訓練した教師を固定し、同じ構造の生徒を学習させる。例えば数字の画像では、教師に元画像を見せて各数字の予測確率を得る。同時にPGDという、損失を増やす方向へ画像を繰り返し変える攻撃で画像を作り、生徒にはその画像を見せる。
生徒の予測確率を教師の分布に近づける学習が蒸留である。IBP（区間境界伝播）は、許容する画素変化の上下限をネットワークの層ごとに伝え、出力が取り得る範囲を広めに見積もる。AD-CERTは蒸留とIBPの損失を重み付きで合わせ、学習後の生徒を保証の検証対象とする。
新規性
AD-CERTは、敵対的学習を受けた教師のクラス別予測分布を、攻撃を加えた画像を見る生徒の学習目標に使う。その蒸留損失と、IBPによる最悪時損失の上限を一つの目的関数で組み合わせる。
著者らは蒸留損失を、最悪時損失の厳密な下限ではなく、教師に導かれる代替目標と位置付ける。教師の予測を保証の計算には使わず、生徒が検証しやすいかどうかはIBP側で学習する。
従来手法との違い
通常の敵対的学習は、予測を誤らせるよう変えた入力でモデルを訓練する。著者らによると、この方法で得たモデルは攻撃に対して経験的に強くても、形式的な検証は難しい。一方、IBPだけを使う学習は検証しやすいモデルを得られるが、変化のない入力での正解率が下がりやすい。
AD-CERTは、IBPの学習項に教師の予測分布を移す項を加える。既存のCC-DISTも教師と生徒を使うが、著者らの説明では、移す情報の中心が中間の特徴量にある点で異なる。
実験結果
著者らはMNIST、CIFAR-10、TinyImageNetの訓練集合で学習し、検証集合で通常の正解率、保証付き正解率、AutoAttackへの正解率を評価した。保証付き正解率は、指定した入力変化の全範囲で正しい判定を保つと検証器が証明した画像の割合である。教師と生徒には同じ7層の畳み込みネットワークを使い、保証の検証にはα,β-CROWNを用いた。
確認できた本文の範囲では、MNISTの変化幅0.1でAD-CERTの通常の正解率は99.25%、保証付き正解率は98.53%。同じ条件のTAPS/STAPSは順に99.16%、98.52%だった。変化幅0.3ではAD-CERTが98.85%、93.98%、TAPS/STAPSが98.56%、93.95%と著者らは報告する。CIFAR-10とTinyImageNetの個別結果を示す表は途中で途切れている。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：設備の外観写真から部品の種類を分類し、決めた画素変化幅の中で判定を保証できる写真を記録する。入力は写真、出力は予測した種類と、その幅に対する検証結果とする。撮影現場での精度向上は未確認の仮説である。
必要なのは対象設備の写真と種類を示す正解ラベル、撮影用のカメラであり、追加センサーは想定しない。対象画像で敵対的学習済みの教師を用意し、生徒をAD-CERTで学習させたうえで、現場の画像に合わせて評価する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象設備の写真と種類ラベルを集め、訓練用と評価用に分ける。入力はカメラ画像とし、追加センサーは想定しない。許容する画素変化幅を先に定め、対象画像で敵対的学習した教師を用意して、生徒をAD-CERTで学習させる。
同じ写真、ラベル、評価条件でIBPのみの学習を比較基準にする。変化のない画像の正解率、指定幅で保証された画像の割合、実際の撮影条件ごとの誤分類数を記録する。最後の数値は形式的な保証とは別に評価する。
限界と課題
著者らが扱う保証の範囲は、各入力値の変化を一定幅以内に収めるℓ∞摂動である。評価対象はMNIST、CIFAR-10、TinyImageNetの画像分類であり、照明や視点の変化そのものに対する保証は報告していない。
編集上の検証事項：確認できた本文の範囲では表が途中で途切れており、CIFAR-10とTinyImageNetの個別数値は照合できない。教師の詳しい学習条件や検証時間は参照先の付録を確認する必要がある。導入先では、想定する撮影変化を指定した画素変化幅で表せるかも確かめたい。
出典
元のタイトル・要旨を確認する（英語）
Improving Certified Robustness via Adversarial Distillation
Certified training aims to produce models whose predictions can be formally verified against adversarial perturbations, typically by optimising upper bounds on the worst-case loss over an allowed perturbation set. For neural networks, certified training methods based purely on tight relaxation bounds produce networks that are amenable to certification, but sacrifice standard accuracy. Conversely, adversarial training often yields stronger empirical robustness and standard accuracy, but the resulting models are generally difficult to certify with neural network verifiers. Recently, the literature has shown that better standard-certified accuracy trade-offs can be achieved by combining adversarial training objectives with loose over-approximations based on Interval Bound Propagation (IBP), effectively interpolating between lower and upper bounds of the worst-case loss. Building on this, we introduce AD-CERT, a certified training objective that combines adversarial distillation with an IBP upper bound. We show that distilling adversarial information over the logit space from an empirically robust teacher provides an effective lower bound surrogate for certified training, with AD-CERT achieving state-of-the-art certified performance on several robustness benchmarks. Furthermore, in a unified setup, distilling adversarial information at the logit-level is shown to improve certified accuracy over a robust feature-space distillation objective by up to 5.40 percentage points.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01