アーカイブ / Computer Vision
自己教師あり学習で後段の特徴が過学習したとき、前段の分布を使って調整するUMM
Undoing Memorization Mechanism
Undoing Memorization Mechanismの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
(a) CIFAR-10
概要
- 著者らは、調べた自己教師あり学習手法で、最終段の特徴によるテスト正解率が学習中のピーク後に低下する傾向を報告した。
- UMMは前段より前を固定し、前段の特徴分布を参照して最終段までを調整する方法である。
- UMMの課題別の改善数値は確認できた本文の範囲では分からず、導入時には元モデルと同条件で比較する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Undoing Memorization Mechanismの仕組み
- 01事前学習済み画像モデル
- 02前段の分布を参照
- 03後段の特徴を調整
- 04調整後の特徴量
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
自己教師あり学習は、正解ラベルのない画像から特徴を学び、その特徴を分類など別の課題に使う方法である。学習画像に固有の特徴を覚え込みすぎる「過学習」が起きると、新しい課題での性能が落ちうる。
学習中の過学習は、途中のモデルを保存し、ラベル付きデータで繰り返し評価すれば調べられる。しかし保存と計算の負担があり、評価用ラベルがない場合もある。著者らはモデル内部の特徴に着目した。
手法
UMMは、ラベルなし画像で事前学習した特徴抽出器を調整する。特徴抽出器は画像を数値の列に変える部分である。前段より前のパラメータを固定し、前段から最終段までを調整する。例えば製品画像を入力すると、調整後の最終段から分類に使う特徴量が得られる。
調整では、前段と最終段の特徴分布の違いをJSダイバージェンスという分布間の距離で扱い、最終段の符号化率削減を高める。符号化率削減は、特徴全体と特徴のまとまりごとの表現に必要な情報量の差である。著者らは分布による制約とこの指標の最大化を組み合わせ、個々の特徴を直接一致させない二段階の最適化として説明する。
新規性
UMMは、学習済みの特徴抽出器で前段より後段に過学習が現れるという著者らの観察を、後段の調整に利用する。前段と後段の個々の特徴を直接一致させず、前段の特徴分布を制約として使う点が特徴である。
著者らは、分布の制約と後段の符号化率削減の最大化を組み合わせた二段階の最適化として提案し、働きを因果分析の観点から説明している。確認できた本文の範囲では、因果効果の大きさを示す数値は分からない。
従来手法との違い
比較の基準となるのは、自己教師あり学習を終えた特徴抽出器の前段または後段の出力を、分類に使う場合である。著者らの実験では、後段の特徴によるテスト正解率は学習中にピークを迎えてから低下し、前段では上昇後に安定した。
UMMは前段の出力を最終出力として採用する方法ではない。前段より前のパラメータを固定し、前段から後段までを調整して後段の特徴を使う。確認できた本文の範囲では、他の調整手法との数値比較は示せない。
実験結果
著者らはSimCLR、BYOL、Barlow Twins、SwAV、VICRegLを、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet-100、ImageNetで調べた。学習中に5エポックごとにモデルを保存し、前段と最終段の特徴について、それぞれ学習データのラベルで分類器を訓練してテスト正解率を記録した。
著者らによると、5回の独立実験の平均では、最終段の正解率と符号化率削減はピーク後に低下し、前段では上昇後に安定した。符号化率削減の図は最大値で正規化されている。UMMによる下流課題の改善も主張するが、確認できた本文の範囲では課題別の数値や評価分割は分からない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：製造ラインの外観画像から製品の種類を分類する際、撮影条件が変わった画像でも使える特徴を得られるか試す。入力はラベルなしの事前学習用画像、出力はUMMで調整した特徴抽出器が作る特徴量と、別途学習した分類器の予測結果とする。
製品の種類を示すラベル付き画像を分類器の学習用と評価用に用意する。事前学習済みモデルを対象画像に合わせて調整し、条件別の正解率を確認する。必要なセンサーは画像を取得するカメラで、この用途への有効性は検証前の仮説である。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象の製品画像を、ラベルなしの事前学習・UMM調整用と、製品種別のラベル付き分類器学習用・評価用に分ける。同じ事前学習済みモデルから、元のモデルとUMM適用モデルを用意し、固定する前段の位置を記録する。入力に使うセンサーはカメラとする。
両モデルの特徴から同じ条件で分類器を学習し、学習に使わない画像の分類正解率を撮影条件別に比べる。前段と最終段の符号化率削減、調整時間、保存量も記録する。撮影条件の異なる評価画像とその正解ラベルを確保し、対象画像への調整が有効か判断する。
限界と課題
著者らが明示する課題は、学習途中のモデルを何度も保存してテストする方法には、保存容量と計算の負担があることだ。ラベル付きデータがない場合には、その方法で過学習を追跡しにくいとも述べる。いずれもUMM自体の性能上限を示す報告ではない。
編集上の検証事項：確認できた本文は手法説明の途中で終わるため、UMMの調整条件と課題別の改善幅は確認できない。導入先では、前段を固定する位置、調整時間、未知の撮影条件での精度を測り、符号化率削減の変化が精度の変化に対応するかも確かめる必要がある。
出典
元のタイトル・要旨を確認する（英語）
On the Generalization and Causal Explanation in Self-Supervised Learning
Self-supervised learning (SSL) methods learn from unlabeled data and achieve high generalization performance on downstream tasks. However, they may also suffer from overfitting to their training data and lose the ability to adapt to new tasks. To investigate this phenomenon, we conduct experiments on various SSL methods and datasets and make two observations: (1) Overfitting occurs abruptly in later layers and epochs, while generalizing features are learned in early layers for all epochs; (2) Coding rate reduction can be used as an indicator to measure the degree of overfitting in SSL models. Based on these observations, we propose Undoing Memorization Mechanism (UMM), a plug-and-play method that mitigates overfitting of the pre-trained feature extractor by aligning the feature distributions of the early and the last layers to maximize the coding rate reduction of the last layer output. The learning process of UMM is a bi-level optimization process. We provide a causal analysis of UMM to explain how UMM can help the pre-trained feature extractor overcome overfitting and recover generalization. We also demonstrate that UMM significantly improves the generalization performance of SSL methods on various downstream tasks.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01