アーカイブ / Computer Vision / Generative AI
少数の正解ペアとラベルなし画像で、複数の悪天候を除去する画像復元法
SemiDDM-Weather
SemiDDM-Weatherの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: The denoising process of WaveDiff. The operations within the dashed box will be iteratively repeated until obtaining the final denoised output q ( y 0 ′ ) q(y_{0}^{\prime})
概要
- 雨、雪、霧などを一つのモデルで復元するため、正解ペアとラベルなし画像を併用する。
- 教師モデルの出力をMUSIQの画質スコアと教師・生徒の出力差で選び、擬似ラベルとして使う。
- 著者らは合成画像と実画像で良好な結果を報告するが、確認できた本文の範囲に評価データ名や比較数値はない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、SemiDDM-Weatherの仕組み
- 01悪天候画像
- 02画像の切り出し
- 03波レット変換
- 04教師出力の選別
- 05復元モデルの学習
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
雨、雪、霧、レンズに付いた雨滴は画像を見えにくくし、物体検出など後段の画像解析にも影響し得る。屋外では劣化の種類が変わるため、天候ごとに専用の復元モデルを使い分ける方法は扱いにくい。
一つのモデルで複数の天候を扱う既存法には、劣化画像と対応する鮮明画像のペアを大量に必要とするものがある。著者らは、悪天候下でこの対応ペアを集めることが難しい点を課題とし、正解のない画像も学習に使う方法を提案した。
手法
劣化画像と鮮明画像のペアに加え、鮮明画像のない劣化画像を学習に使う。画像を64×64画素に切り出し、波レット変換で画像の大まかな形や細部に関わる成分へ分ける。悪天候画像を条件に、ノイズを段階的に除いて復元画像を作る拡散モデルを学習する。雨の画像なら、対応する雨のない画像が正解の例となる。
正解のない画像には、教師モデルが作る復元画像を仮の正解である「擬似ラベル」として使う。教師の出力は、参照画像なしで画質を採点するMUSIQが生徒の出力と保存済み候補の両方を上回り、教師・生徒の出力差が閾値未満の場合に保存候補を更新する。生徒は正解ペアと選別した擬似ラベルから学び、教師の重みは生徒の重みの移動平均で更新する。
新規性
著者らが提案するのは、雨、雪、霧、レンズ上の雨滴などを一つのモデルで扱う復元に、正解画像のあるペアと正解のない画像を併用する半教師あり学習を組み込む方法である。
WaveDiffを悪天候画像を条件とする復元用に変更し、教師モデルの出力を画質と教師・生徒間の出力差で選んで保存する。選別した出力を、正解のない画像の学習に使う点が特徴となる。
従来手法との違い
著者らによると、従来法には特定の天候だけを対象とする方法が多い。複数の天候を扱う既存法は、劣化画像と鮮明画像の対応ペアを大量に使う教師あり学習に依存する。拡散モデルを使うWeatherDiffについても、ペアの必要量と推論時間を課題に挙げる。
SemiDDM-Weatherは、限られた正解ペアにラベルなし画像を加える。基盤となるWaveDiffの変更により、著者らは通常は数百回を要するサンプリングを4回にしたと説明する。確認できた本文の範囲では、WeatherDiffとの実測時間の差は示されていない。
実験結果
著者らは合成画像と実画像のデータで悪天候除去を評価し、教師ありの競合手法と比べても高い視覚品質を得たと報告する。また、悪天候が後段の画像解析に与える影響も軽減したと述べる。本文では、正解画像なしで画質を評価する指標を重視し、擬似ラベルの選別にMUSIQを使う。
確認できた本文の範囲では、評価データ名、分割、正解ペアの割合、競合手法ごとの評価値、実測時間は分からない。そのため改善幅や天候別の優劣は判断できない。64×64画素の切り出し、4回のサンプリング、選別閾値0.1は手法の設定であり、評価スコアではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：屋外の固定カメラで撮った雨、雪、霧などの静止画を復元し、点検担当者が原画像と並べて確認する。入力は悪天候の画像、出力は復元画像とし、標識や設備の輪郭を確認しやすくなるかを調べる。
学習用には、対象カメラに近い条件で撮った劣化画像と対応する鮮明画像のペアを正解データとして用意し、追加の劣化画像は正解なしで集める。必要なセンサーはカメラであり、撮影環境に合わせた学習が要る。視認性の改善は導入前に確かめる仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象カメラの悪天候画像を集め、一部について対応する鮮明画像を正解ラベルとして用意する。残りはラベルなし画像とし、撮影条件に合わせてモデルを学習する。入力に必要なセンサーはカメラで、別種のセンサーはこの案の前提にしない。
比較基準は、同じ正解ペアだけで学習したモデルと復元前の原画像にする。学習に使わず保留した画像で、天候別の画質、標識や設備の形を保てるかという担当者の判定、後段の検出結果を記録する。同じ入力条件で推論時間も測り、利用目的に合うか判断する。
限界と課題
著者らは、教師モデルの出力が常に生徒モデルの出力より良いわけではなく、不正確な擬似ラベルが学習を誤らせ得ると述べる。その対策として選別条件を設けているが、すべての誤りを防げるという結果は示されていない。
編集上の検証事項は、元画像にない細部の生成、天候別の失敗、撮影条件が変わった場合の安定性、実際の処理時間である。また本文は「劣化画像との内容の一致」に言及する一方、示された選別式の距離条件は教師と生徒の出力間である。この違いを踏まえ、原画像の内容が保たれるか別途確かめたい。
出典
元のタイトル・要旨を確認する（英語）
SemiDDM-Weather: A Semi-supervised Learning Framework for All-in-one Adverse Weather Removal
Adverse weather removal aims to restore clear vision under adverse weather conditions. Existing methods are mostly tailored for specific weather types and rely heavily on extensive labeled data. In dealing with these two limitations, this paper presents a pioneering semi-supervised all-in-one adverse weather removal framework built on the teacher-student network with a Denoising Diffusion Model (DDM) as the backbone, termed SemiDDM-Weather. As for the design of DDM backbone in our SemiDDM-Weather, we adopt the SOTA Wavelet Diffusion Model-Wavediff with customized inputs and loss functions, devoted to facilitating the learning of many-to-one mapping distributions for efficient all-in-one adverse weather removal with limited label data. To mitigate the risk of misleading model training due to potentially inaccurate pseudo-labels generated by the teacher network in semi-supervised learning, we introduce quality assessment and content consistency constraints to screen the "optimal" outputs from the teacher network as the pseudo-labels, thus more effectively guiding the student network training with unlabeled data. Experimental results show that on both synthetic and real-world datasets, our SemiDDM-Weather consistently delivers high visual quality and superior adverse weather removal, even when compared to fully supervised competitors. Our code and pre-trained model are available at this repository.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01