アーカイブ / Computer Vision
画像モデルの途中層を追い、未知画像の検出と分類を補う
Representation Trajectories
Representation Trajectoriesの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: The trajectories matters. Images with similar final representations can follow different computational routes. Typical ID samples remain close to learned class trajectories, whereas OOD samples deviate despite similar endpoints. Trajectory evidence complements the final representation for both OOD detection and image classification; bars report average gains across architecture families.
概要
- 同じ画像の各層を一つの経路として扱い、クラスに共通する変化と画像固有の変化を分ける。
- OpenOODの非飽和152組では、Mahalanobis++に経路得点を加えた131組でFPR95が低下した。
- 清浄画像の分類は72組中71組で改善したが、画像の乱れや領域変更での効果は条件によって異なる。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Representation Trajectoriesの仕組み
- 01入力画像
- 02各層の状態
- 03クラス経路との差
- 04次層の予測誤差
- 05検出得点
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、画像モデルが各層で特徴をどう更新したかを、未知画像の検出と分類に使う。多くの方法は最後の層に残った特徴で判断するが、そこへ至る途中の変化にも情報が残る可能性がある。
未知画像の検出は、学習に使った通常の画像群から外れる入力を見つける作業である。最終層の特徴が既知の画像に似ていても、途中の計算経路を調べれば別の判断材料を得られるかが、この研究の問いとなる。
手法
画像を重みを固定したモデルに通し、同じ画像の各層の状態を順番につなぐ。通常画像のクラスごとに平均的な経路を求め、個々の画像がそこから外れる分を計算する。例えば、ある製品画像について、推定された製品クラスの経路と各層で比べる。正解クラスが分からない検査時には、最終層の特徴から比較先のクラスを推定する。
検出では、通常画像だけで学習した予測器が次層の状態を予測し、実際との誤差を層全体で集計して最終層の検出得点に加える。分類では隣り合う層の特徴の差を「更新量」として線形判別器に入力し、最終層の分類結果と組み合わせる。元の画像モデルの重みは変えない。
新規性
同じ画像の各層の状態を一続きの経路として扱い、クラスに共通する変化と画像固有の変化を分ける。最終層が似た画像でも、途中の経路が違う可能性を調べる設計である。
未知画像の検出では、通常画像から学んだ次層の予測と実際の差を使う。分類では隣接層の更新量を使い、どちらも最終層から得る情報に加える。
従来手法との違い
検出の主な比較基準は、最終層の特徴から通常画像との距離を測るMahalanobis++である。著者らは、その得点に経路から得た得点を加え、Relative Mahalanobis、X-Mahalanobis、kNNでも同様に調べた。
分類では、最終層だけを使う線形判別器と、途中層の更新量も使う方法を比較する。別の初期値で学習した最終層の判別器を組み合わせる対照実験も設け、単に判別器を増やした効果と区別している。
実験結果
著者らはOpenOOD v1.5のMNIST、CIFAR-10、CIFAR-100、ImageNet-200、ImageNet-1Kを使い、38モデルとの計190組で検出を評価した。飽和していない152組では、Mahalanobis++に経路得点を加えると131組でFPR95が下がり、平均低下幅は4.33ポイントだった。
分類では、6種類のモデルと12データ群による清浄画像の72組中71組で、最終層だけの線形判別器より正解率が上がったと報告する。一方、CIFAR-100-Cなどの画像の乱れや、PACS、Office-Homeの領域変更では、改善はモデルと条件によって異なった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：製造ラインの検査画像から、通常の製品画像と経路が異なるものを担当者の確認へ回す。入力は検査カメラの画像、出力は製品クラスの推定と、未知画像として確認する優先度を示す得点とする。製造現場での効果は論文では検証されていない。
必要なのは、通常生産時の画像、製品クラスのラベル、撮影に使うカメラである。既存の画像モデルから途中層の状態を取得し、現場画像でクラス経路を作る適応を想定する。担当者が確認結果を記録する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象ラインの通常画像と製品クラスのラベルを集め、検査カメラの画像から既存モデルの各層の状態を取得する。通常画像だけでクラス経路と次層の予測器を作り、最終層だけを使うMahalanobis++を比較基準にする。
評価用には、通常品、撮影条件が変わった通常品、未知の対象を別に集め、人がラベルを付ける。FPR95と通常品を確認へ回す割合、判定時間を比べる。撮影条件が異なる場合は、その条件の通常画像で経路を作り直す手順も検証する。
限界と課題
著者らは、未知画像の検出で経路得点の効果が遠い未知画像ほど大きく、近い未知画像では小さいと報告する。難しいImageNetの近い未知画像の分割には効果が残らない場合があり、画像の乱れや対象領域の変更を伴う分類評価でも、効果はモデルと条件に左右された。
編集上の検証事項は、現場のモデルから途中層の状態を取得できるか、撮影条件の変化を未知品と混同しないか、判定時間が運用に収まるかである。製造画像についての測定結果は、確認できた本文の範囲では示されていない。
出典
元のタイトル・要旨を確認する（英語）
Representation Trajectories Matters: Complementary Evidence for OOD Detection and Image Classification
Vision models do not form a representation at once; each block revises it. We ask whether the resulting computation path contains evidence that the final representation discards, and whether that evidence improves OOD detection and image classification on clean and shifted data. Unlike approaches that treat intermediate layers as separate snapshots, we retain sample identity across depth and study the transformations connecting successive states. We separate class-coherent transport from input-specific innovation, and coordinate movement from relational reorganization. Across supervised, self-supervised, vision--language, hierarchical, and convolutional encoders, these paths show strong sample-specific continuity and architecture-specific depth profiles that recur across datasets. They are also practically useful. An ID-only transition-surprise score complements strong final-state detectors, reducing FPR95 in 131/152 non-saturated comparisons on a balanced OpenOOD grid; gains are largest for visually disruptive and semantically far shifts, and remain positive on near-OOD for most detectors. Frozen update probes improve 71/72 clean model--dataset cases, while shifted-data gains vary with architecture and corruption type. Computation paths therefore provide a broadly useful reliability signal whose value is determined jointly by model organization and the shift encountered.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01