アーカイブ / Computer Vision
画像劣化に強い分類器を目指す二つの学習法：低周波画像との特徴一致と教師あり対照学習
Frequency-Based and Contrastive Regularization
Frequency-Based and Contrastive Regularizationの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Custom CNN layer which produces a separate reconstruction of original input x based on low-frequency components obtained after Fourier Transform. Activations a and a’ are generated separately from the same Convolution layer. a’ is cached to calculate the Mean-Squared-Loss.
概要
- 元画像と低周波画像の特徴をそろえる方法と、正解ラベルを使って画像間の特徴を配置する方法を、それぞれ検証した。
- CIFAR-10-Cの平均破損画像精度は通常のResNet-18が68.33％、周波数法が68.60％、対照学習法が69.13％だった。
- 周波数法は平均ぼけ精度が上がった一方、平均ノイズ精度と清浄画像の精度は下がった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Frequency-Based and Contrastive Regularizationの仕組み
- 01正解付き画像
- 02方式別に特徴を抽出
- 03分類・補助損失を計算
- 04重みを更新
- 05学習済み分類器
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
畳み込みニューラルネットワーク（CNN）は、画像から特徴を取り出して物体の種類を判定する。著者らは、CNNが物体全体の形よりも細かな模様や質感に頼りやすく、画像が劣化すると分類が不安定になる問題を扱う。
実際の撮影には、ぼけ、ノイズ、圧縮による乱れなどが入る。鮮明な画像での正解率だけでは、撮影条件が変わる現場で使えるか判断しにくい。そこで、分類器が画像の細部に過度に依存しないようにする学習法を調べた。
手法
周波数法では、画像を周波数成分に分け、細かな変化を表す高周波を弱めて低周波画像を作る。元画像と低周波画像を同じ畳み込み層に通し、中間的な特徴の差を小さくする損失を分類損失に加える。例えば犬の画像なら、毛並みが弱まっても共通して残る特徴を学ばせる狙いで、ResNet-18の最初の三つの畳み込み層を専用層に替える。
対照学習法では、正解ラベルを使い、同じクラスの画像の特徴を近づけ、異なるクラスの特徴を離す補助損失を加える。特徴比較用と分類用の二つの出力部を設け、通常の分類損失と合わせて学習する。二つは別々の方法であり、どちらも学習後は入力画像のクラスを予測する。
新規性
著者らは、通常の分類損失に補助損失を加える二つの方法を、それぞれResNet-18で検証した。一つは元画像と低周波画像の中間的な特徴をそろえ、もう一つは正解クラスに基づいて画像間の特徴の配置を調整する。
形への着目は両方法の狙いだが、形そのものを指定して学習させる仕組みではない。著者らは形と質感への依存を直接測る評価を今後の課題としている。
従来手法との違い
基準は、通常のResNet-18をCIFAR-10で学習した分類器である。周波数法では最初の三つの畳み込み層を専用層に替え、対照学習法では標準のResNet-18に特徴比較用と分類用の出力部を加える。
著者らの表には、層の構造を変えるPush-Pull CNNも載る。CIFAR-10-Cの平均破損画像精度はPush-Pull CNNが70.31％で、周波数法の68.60％、対照学習法の69.13％を上回る。二つの提案法が比較対象すべてに勝つという結果ではない。
実験結果
著者らは10クラス、学習画像５万枚のCIFAR-10でResNet-18を学習し、清浄なテスト画像１万枚とCIFAR-10-Cで評価した。後者は19種類の劣化を５段階の強さで加える。表の平均破損画像精度は通常モデル68.33％、周波数法68.60％、対照学習法69.13％だった。
清浄画像の精度は同じ順に84.82％、84.23％、86.19％である。周波数法の平均ぼけ精度は通常モデルの70.89％から72.82％へ上がった一方、平均ノイズ精度は51.53％から49.62％へ下がった。劣化の種類によって結果が異なる。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：工場でトレー上の部品を一つずつカメラで撮り、画像から部品の種類を分類する。入力は撮影画像、出力は部品クラスとし、作業者が分類結果を確認する流れを想定する。精度改善は実証済みの用途ではなく、検証する仮説である。
適用には、その工場のカメラで撮った各部品の画像と、画像ごとの正解クラスが必要になる。実際の撮影距離や照明、ぼけやノイズを含む画像を集め、現場のクラスに合わせて分類器を学習し直す。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：現場のカメラで各部品を撮り、画像ごとに部品クラスの正解ラベルを付ける。同じ学習画像とクラス分けで通常のResNet-18と二つの方法を別々に学習し、撮影日を分けた画像で比較する。対象が論文の10クラスと異なるため、現場の部品に合わせた学習が必要である。
評価には清浄画像に加え、現場で実際に生じるぼけやノイズの画像を集める。クラス別、劣化別の正解率と誤分類件数を記録し、清浄画像での低下も調べる。背景を変えた撮影でも試し、部品以外の手掛かりへの依存を点検する。
限界と課題
著者らは、対照学習が物体の形ではなく、クラスと偶然結び付いた背景などを使う可能性を挙げ、その程度を調べていない。形と質感のどちらに依存したかを、加工した画像集合で直接測ることも今後の課題としている。
編集上の検証事項：要旨は清浄画像の精度を落とさないと述べるが、表では周波数法が基準の84.82％から84.23％へ下がる。この食い違いを踏まえ、現場では清浄画像での低下、背景が変わる場合の誤分類、ぼけとノイズの効果を別々に確認したい。
出典
元のタイトル・要旨を確認する（英語）
Promoting Shape Bias in CNNs: Frequency-Based and Contrastive Regularization for Corruption Robustness
Convolutional Neural Networks (CNNs) excel at image classification but remain vulnerable to common corruptions that humans handle with ease. A key reason for this fragility is their reliance on local texture cues rather than global object shapes -- a stark contrast to human perception. To address this, we propose two complementary regularization strategies designed to encourage shape-biased representations and enhance robustness. The first introduces an auxiliary loss that enforces feature consistency between original and low-frequency filtered inputs, discouraging dependence on high-frequency textures. The second incorporates supervised contrastive learning to structure the feature space around class-consistent, shape-relevant representations. Evaluated on the CIFAR-10-C benchmark, both methods improve corruption robustness without degrading clean accuracy. Our results suggest that loss-level regularization can effectively steer CNNs toward more shape-aware, resilient representations.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01