アーカイブ / Computer Vision
既知の画像かを判定する：EVA-CLIPの出力を推論時に調整する手法
EVA-CLIP + ReAct + TTA
EVA-CLIP + ReAct + TTAの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : The framework of our approach.
概要
- 学習済みEVA-CLIPにReAct、温度調整、テスト時拡張を組み合わせ、既知クラスと未知クラスの画像を判定する。
- 著者らは大会でAUROC 79.77、FPR95 61.44、総合2位を報告した。表3のFPRとは条件の対応確認が要る。
- テスト時拡張は推論時の計算負荷を増やす。本文中の異なる処理時間についても測定条件の確認が必要だ。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、EVA-CLIP + ReAct + TTAの仕組み
- 01入力画像
- 02元画像と変換画像
- 03ReActで出力
- 04出力を平均
- 05既知・未知判定
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
画像分類器は、学習時に扱った種類の中から画像の名前を選ぶ。対象外の種類も入力される場面で、既知か未知かを見分ける課題をオープンセット認識と呼ぶ。未知の画像を既知の種類として通すと、その後の確認を誤るおそれがある。
著者らが取り組んだ課題では、ImageNet1kを既知の画像群、ImageNet21kの一部を未知の画像群として扱う。既存の分類器の予測を使いながら、対象外の画像を検出する方法を検討した。
手法
元画像と、回転や切り抜きなどを施した3種類の画像を、学習済みのEVA-CLIPで処理する。各画像についてReActが分類直前の特徴量の大きすぎる値を上限で切り、クラスごとの分類用数値であるロジットを得る。4組のロジットを平均する処理をテスト時拡張と呼び、1枚の入力画像の出力にまとめる。
平均したロジットを温度という値で調整し、各クラスへの割り当て比率に換算する。最大の比率を判定点数とし、境界値より大きければ既知、以下なら未知とする。例えば犬の画像を入力した場合、犬が登録済みなら既知と判定できるか、登録外の種類なら未知と判定できるかを点数で調べる。
新規性
著者らは、学習済みのEVA-CLIPにReAct、温度調整、テスト時拡張を組み合わせ、追加学習なしで既知クラスと未知クラスを見分ける構成を提案した。
各要素は既存の手法である。報告の中心は、元画像と変換画像の出力を統合する構成と、その設定をSemantic Shift Benchmarkで検討した点にある。
従来手法との違い
基準は、元画像だけを単一の学習済みモデルに入力し、得られた出力を使う方法である。表3はEVA-CLIP単体から温度調整、ReAct、テスト時拡張を順に加えた結果を示す。
同表のACCは87、87、86、87、FPRは66、63、63、61、AUROCは76、76、79、80である。温度調整だけでは同表のAUROCは変わらず、ReAct追加時にはACCが1下がる。これらは掲載された設定間の比較である。
実験結果
著者らはSemantic Shift Benchmarkで、ImageNet1kを既知、ImageNet21kの一部を未知として評価した。AUROCは点数による既知と未知の区別を、FPR95は所定の検出条件での誤判定を測る指標として報告している。
大会結果はAUROC 79.77で5位、FPR95 61.44で2位、総合2位だった。表3の数値は整数に丸められ、最終構成はACC 87、FPR 61、AUROC 80と記載される。表のFPRを大会結果のFPR95と同一の指標として扱うには、集計条件の確認が要る。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：工場で撮影した製品画像を既知の品目に振り分ける際、未登録品目の疑いがある画像を人の確認に回す。入力は製品画像、出力は既知品目の候補と、未知判定に使う点数とする。
対象品目の画像と正しい品目ラベルに加え、未登録品目の画像が検証用に必要だ。撮影カメラと前処理を記録し、現場画像でReActの上限と判定境界値を調整する。誤った振り分けを減らせるかは、この用途で別途検証する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象品目の画像と正しい品目ラベルを集め、未知品目の画像も別に用意する。画像を得るカメラと撮影条件、前処理を記録する。品目の入れ替わりを想定し、既知と未知の検証用画像を分ける。
元画像だけを使うEVA-CLIPを基準に、同じ画像群で提案構成を比較する。既知品目の正答率、未知品目を既知と誤判定する割合、1画像当たりの処理時間を測る。ReActの上限と判定境界値を調整した後、別の撮影条件の画像でも確認する。
限界と課題
著者らは、テスト時拡張で複数の画像を処理するため、推論時の計算負荷が増えると述べている。追加学習は行わない一方、元画像だけを処理する構成と同じ所要時間とは限らない。
編集上の検証事項として、本文には1画像当たり0.5004秒と0.025秒の記述があり、後者の構成と測定条件の対応が明確でない。表のFPRと大会結果のFPR95の対応、実画像で使う判定境界値も確認が必要だ。温度の数値は本文表示が崩れているため採用しない。
出典
元のタイトル・要旨を確認する（英語）
Solution for OOD-CV Workshop SSB Challenge 2024 (Open-Set Recognition Track)
This report provides a detailed description of the method we explored and proposed in the OSR Challenge at the OOD-CV Workshop during ECCV 2024. The challenge required identifying whether a test sample belonged to the semantic classes of a classifier's training set, a task known as open-set recognition (OSR). Using the Semantic Shift Benchmark (SSB) for evaluation, we focused on ImageNet1k as the in-distribution (ID) dataset and a subset of ImageNet21k as the out-of-distribution (OOD) dataset.To address this, we proposed a hybrid approach, experimenting with the fusion of various post-hoc OOD detection techniques and different Test-Time Augmentation (TTA) strategies. Additionally, we evaluated the impact of several base models on the final performance. Our best-performing method combined Test-Time Augmentation with the post-hoc OOD techniques, achieving a strong balance between AUROC and FPR95 scores. Our approach resulted in AUROC: 79.77 (ranked 5th) and FPR95: 61.44 (ranked 2nd), securing second place in the overall competition.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01