アーカイブ / Computer Vision / Generative AI
正常画像から近い外れ値を生成し、攻撃下の画像判定を鍛えるRODEO
RODEO
RODEOの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2 : Our proposed adversarially robust outlier detection method is initiated with a Near-Outlier Label Extraction , which finds words analogous to a given input label. These words, combined with inlier training image data, are employed in the Adaptive Generation stage to create Near-Outllier data. This stage is followed by Adversarial Training using both inliers and generated OE data, utilizing the cross-entropy loss function. During Testing , the model processes the input and computes the OOD score as the softmax of the OOD class. (The data filtering steps are not shown in this figure)
概要
- 正常画像と品目ラベルから、意味や見た目が近くても区別できる学習用の外れ値を生成する。
- 著者らの新規性検出評価では、PGD-1000下の11データセット平均AUROCは63.5%だった。
- 現場への適用には、実際の不良画像と判定ラベルを用い、生成画像が検出に役立つか検証する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、RODEOの仕組み
- 01正常画像と品目名
- 02候補語の抽出
- 03画像生成と選別
- 04敵対的学習
- 05外れ値スコア
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
RODEOは、正常画像から近い外れ値を作り、画像の外れ値検出を学習する方法である。外れ値検出は、学習時に想定した正常画像から外れる入力を見つける。入力に人が気づきにくい変更を加えて判定を崩す「敵対的攻撃」の下では、検出成績が落ちる。
未知の外れ値を学習時に網羅するのは難しい。別の画像を補助的な外れ値として見せる外れ値曝露（OE）が使われるが、著者らの実験では、補助画像が正常画像から遠い場合に攻撃下の成績が下がった。
手法
RODEOは正常画像と、その内容を表す品目ラベルを入力にする。たとえば「ねじ」から、語の近さを扱うWord2Vecで「くぎ」のような候補を探し、似すぎた語を閾値で除く。「破損したねじ」のような属性語も加える。閾値の計算にはImageNetのラベルと、文章と画像の対応を扱うCLIPの文章表現を使う。
次に正常画像へ雑音を加え、拡散モデルという雑音を段階的に取り除く画像生成法で、候補語に沿う画像へ誘導する。CLIPの類似度でなお正常とみなされる生成画像を除外し、残りを補助的な外れ値にする。正常画像と合わせ、入力に意図的な揺さぶりを加える敵対的学習で分類器を鍛え、判定時には外れ値クラスのスコアを出す。
新規性
RODEOは、正常画像の見た目を手がかりに、意味の近い別の語や異常を示す属性語へ画像を変換し、学習用の外れ値を作る。生成画像は正常から明確に区別できるかを選別する。
著者らの狙いは、正常から遠い補助画像を固定して使う場合より、正常に近く多様な外れ値を敵対的学習に与えることだ。近さと多様性の理論的説明は、単純化した分布を仮定したものである。
従来手法との違い
比較対象のALOEとATDは、固定の補助画像を学習用の外れ値に使う。著者らは、CIFAR10を正常、CIFAR100を外れ値とする課題で、補助画像をTiny ImageNetからSVHN、MNIST、ガウス雑音に替えると、特に攻撃下で成績が下がると報告した。
RODEOは正常画像を基に補助画像を生成する。同じCIFAR10対CIFAR100の表では、PGD-1000下のAUROCがRODEOは69.5%、ATDは69.1%。通常画像ではRODEOが93.2%、ATDが94.3%で、この条件で一律に上回ったわけではない。
実験結果
著者らは新規性検出、未知クラスの識別、分布外検出を通常画像とPGD-1000、AutoAttack、AdaptiveAutoAttackによる攻撃下で評価した。AUROCは、スコアによって正常と外れ値を区別する度合いを示す指標である。新規性検出表の摂動幅は低解像度画像で8/255、高解像度画像で2/255だった。
著者らの新規性検出結果では、11データセット平均のAUROCはRODEOで通常画像83.7%、PGD-1000下63.5%、AutoAttack下63.8%、AdaptiveAutoAttack下62.6%。PGD-1000下のPrincipaLSは31.7%だった。一方、通常画像ではTransformalyが90.1%で、RODEOの値を上回った。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：ねじの外観検査で、検査画像が登録済みの正常品から外れるかを判定する。同じ撮影工程の正常ねじ画像と「ねじ」という品目ラベルを学習用に集め、「くぎ」や「破損したねじ」を候補語として生成画像を作る。
選別した画像で検出器を学習し、検査画像ごとの外れ値スコアを確認対象の一覧にする。必要なセンサーは検査工程のカメラで、評価には実際の不良画像と判定ラベルも要る。候補語と選別基準を現場画像に合わせ、生成画像が実不良の検出に役立つか確かめる。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：検査工程のカメラで正常ねじ画像を集め、品目ラベルを付ける。実際の不良画像には判定ラベルを付け、学習に使わない評価用として分ける。正常画像から作った候補語と生成画像を目視点検し、品目に合わない語や正常に見える画像を除く基準を決める。
固定の補助画像を使うOEを比較基準とし、同じ評価画像で正常品の誤警報、実不良の見逃し、AUROCを測る。撮影の揺れと意図的な画像変更の条件も分けて記録する。候補語や閾値を現場向けに調整する際は、最終評価用の画像とラベルを選定に使わない。
限界と課題
著者らは、生成画像がなお正常画像の分布に属し、学習を誤らせる懸念を挙げている。その対策として、CLIPによる類似度と検証用データから決めた閾値で画像を除外する。手法には正常画像の内容を表す文字ラベルも必要だ。
編集上の検証事項は、候補語と閾値の選び方、生成画像が実際の不良をどこまで表すかである。確認できた本文の範囲では、ねじ検査の撮影条件での精度や生成時間は判断できない。掲載された医療画像などの数値を現場へそのまま当てはめることもできない。
出典
元のタイトル・要旨を確認する（英語）
RODEO: Robust Outlier Detection via Exposing Adaptive Out-of-Distribution Samples
In recent years, there have been significant improvements in various forms of image outlier detection. However, outlier detection performance under adversarial settings lags far behind that in standard settings. This is due to the lack of effective exposure to adversarial scenarios during training, especially on unseen outliers, leading to detection models failing to learn robust features. To bridge this gap, we introduce RODEO, a data-centric approach that generates effective outliers for robust outlier detection. More specifically, we show that incorporating outlier exposure (OE) and adversarial training can be an effective strategy for this purpose, as long as the exposed training outliers meet certain characteristics, including diversity, and both conceptual differentiability and analogy to the inlier samples. We leverage a text-to-image model to achieve this goal. We demonstrate both quantitatively and qualitatively that our adaptive OE method effectively generates ``diverse'' and ``near-distribution'' outliers, leveraging information from both text and image domains. Moreover, our experimental results show that utilizing our synthesized outliers significantly enhances the performance of the outlier detector, particularly in adversarial settings.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01