アーカイブ / Computer Vision
対象画像１枚の見た目を使い、物体検出器を適応させるOSSA
OSSA
OSSAの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : A qualitative comparison of the baseline Faster R-CNN, our proposed OSSA, and the ground truth. We observe that in various scenarios, including weather (top row), sim2real (middle row), and visual-optical to thermal infrared adaptation, OSSA leads to a substantial increase in accurate detections.
概要
- OSSAは、ラベルのない対象画像１枚の特徴統計を揺らし、ラベル付き学習画像の特徴へ移して物体検出器を学習する。
- 著者らのCityscapesからFoggy Cityscapesへの実験では、mAPはOSSAが39.8±1.1、Faster R-CNNが28.1±0.9だった。
- 見た目以外の内容の差は手法の対象外であり、運用時には対象画像１枚の選び方と条件別の性能を検証する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、OSSAの仕組み
- 01元画像と対象画像
- 02対象の特徴統計
- 03統計を揺らして転写
- 04検出器を学習
- 05物体の種類と位置
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
OSSAは、学習時と運用時で画像の見た目が変わると物体検出の性能が落ちる問題に取り組む。「領域」は画像が得られる条件や画像の集まりを指す。通常時と霧の日、合成画像と実写、可視画像と熱画像には、それぞれ領域の差がある。
対象領域の画像を大量に集めにくい場合もある。そこで著者らは、位置と種類のラベルが付いた学習元画像に加え、ラベルのない対象画像を１枚だけ使う適応を検討した。
手法
OSSAは、ラベルのない対象画像１枚から、画像の中間表現である「特徴」の平均と標準偏差を求める。標準偏差は値のばらつきを示し、両者を見た目の手掛かりとして使う。入力にはこの対象画像と、物体の種類と位置がラベル付けされた学習元画像が必要だ。
対象側の統計に乱数による変化を加え、AdaINという処理で学習元画像の特徴の平均とばらつきを調整する。著者らの構成ではResNet50の初期２層に適用し、学習時の適用確率は50％。例えば通常の道路画像のラベルを使い、特徴を霧画像の見た目に寄せて検出器を学習する。学習後の検出器は、入力画像中の物体の種類と位置を出力する。
新規性
OSSAは、ラベルのない対象画像１枚から見た目の統計を取り、その値を中心に変化を作って、ラベル付き学習画像の特徴へ移す。著者らが主張する新しさは、対象側の見た目を変換の起点にした点にある。
元画像側の統計だけを揺らす方法では、元の見た目に偏りやすいと著者らは説明する。対象画像１枚で十分かどうかも、複数枚を使う実験で検討している。
従来手法との違い
対象画像を使わないFaster R-CNNやNP、１枚を使うOSHOTなどが比較対象である。NPは学習元の特徴統計を揺らすのに対し、OSSAは対象画像から得た統計を中心に揺らす。対象画像を全件使う手法とも比較している。
CityscapesからFoggy Cityscapesへの表では、OSSAのmAPは39.8、NPは37.0、OSHOTは31.9、全件を使うTDDは49.2だった。OSFAだけはVGG16とSSDを使っており、表の全手法が同じ検出器構成ではない。
実験結果
著者らは主にResNet50とFaster R-CNNを使い、対象側の学習用画像から１枚ずつ選ぶ10回の実験を報告した。指標は、予測枠と正解枠の重なり率が50％以上の場合に基づくmAP（クラス別の平均適合率の平均）である。Cityscapesから、最も濃い人工霧を使ったFoggy Cityscapesへの適応では、OSSAが39.8±1.1、Faster R-CNNが28.1±0.9だった。
Sim10kからCityscapesでは車のAPが52.7±0.5対40.2±1.0、M3FDの可視画像から熱画像ではmAPが33.9±1.1対22.0±0.9だった。いずれも著者らが示した条件での結果であり、別の撮影現場での性能を示すものではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：霧が出る道路区間の車と歩行者を検出する。入力には、物体の種類と位置のラベルが付いた通常時の道路画像、対象区間の撮影用カメラで得たラベルのない霧画像１枚を用意する。同じカメラで評価用の映像も収集する。
対象画像の特徴統計を通常時の学習画像へ移して検出器を再学習し、物体の種類と検出枠を出力する。運用条件への適応は仮説であり、評価用映像には別途、人手で正解枠を付けて確認する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：種類と位置のラベルが付いた通常時の学習画像、対象区間の撮影用カメラから得たラベルなし画像１枚を用意する。同じカメラから評価専用の画像を別に集め、人手で正解枠を付ける。通常の学習で得た検出器を比較基準にする。
同じ学習元画像と評価画像を使い、OSSAの特徴変換を学習工程に組み込んだ場合と比べる。物体ごとのAPに加え、見逃しと誤検出を測る。対象画像を別の１枚に替え、霧の濃さや撮影時刻ごとの結果も確認する。
限界と課題
著者らは、OSSAが主に見た目の差を扱い、物体の種類や場面構成などの内容の差は解消しないと述べる。Sim10kからCityscapesではその差が残り、可視画像から熱画像への適応でも、対象データで学習した検出器との性能差は大きい。
著者らは、熱画像の明るさが物体を見分ける手掛かりにもなり得ると考察する。編集上の検証事項は、選んだ１枚が運用時の条件を代表するか、霧の濃さや撮影時刻が変わっても効果が続くかである。
出典
元のタイトル・要旨を確認する（英語）
OSSA: Unsupervised One-Shot Style Adaptation
Despite their success in various vision tasks, deep neural network architectures often underperform in out-of-distribution scenarios due to the difference between training and target domain style. To address this limitation, we introduce One-Shot Style Adaptation (OSSA), a novel unsupervised domain adaptation method for object detection that utilizes a single, unlabeled target image to approximate the target domain style. Specifically, OSSA generates diverse target styles by perturbing the style statistics derived from a single target image and then applies these styles to a labeled source dataset at the feature level using Adaptive Instance Normalization (AdaIN). Extensive experiments show that OSSA establishes a new state-of-the-art among one-shot domain adaptation methods by a significant margin, and in some cases, even outperforms strong baselines that use thousands of unlabeled target images. By applying OSSA in various scenarios, including weather, simulated-to-real (sim2real), and visual-to-thermal adaptations, our study explores the overarching significance of the style gap in these contexts. OSSA's simplicity and efficiency allow easy integration into existing frameworks, providing a potentially viable solution for practical applications with limited data availability. Code is available at https://github.com/RobinGerster7/OSSA
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01