アーカイブ / Computer Vision / Generative AI
雨粒と反射が重なるガラス越し画像を復元するDiffUR3
DiffUR3
DiffUR3の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : We compare our DiffUR 3 pipeline with other methods on low-quality images with raindrops and reflections from our newly collected real-world benchmark. Specifically, (c) DAI [ 14 ] is designed for reflection removal, (d) A cascaded method, and (e) A re-trained all-in-one method (i.e., Histoformer [ 36 ] and † \dagger indicates re-trained on our dataset), (f) Our DiffUR 3 pipeline jointly removes both degradations in a single pass.
概要
- 雨粒と反射を含む一枚の画像を一次復元し、元画像と一次復元画像の両方を条件にして生成する。
- 著者らの実写データセットRDRFは307場面で、試験用は91場面・277画像対である。
- RDRFの構成要素比較で、Modulate&Gateを含む構成は二画像の単純結合より高いPSNR・SSIM、低いLPIPSを示した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、DiffUR3の仕組み
- 01雨粒と反射の画像
- 02一次復元
- 03二画像の条件選択
- 04拡散生成と形状補正
- 05復元画像
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
DiffUR3は、雨粒と反射が同時に写ったガラス越しの画像を復元する。車載カメラなどでは、ガラス上の水滴とカメラ側からの映り込みが重なり、道路や周囲の視認性を下げる。
著者らは、雨粒と反射が互いに影響するため、片方ずつ除く処理だけでは扱いにくいと説明する。強い劣化で背景が見えなくなる領域もある。そこで、二つの劣化を含む実写の画像対を集め、両方を一つの処理系列で除く課題に取り組んだ。
手法
入力は雨粒と反射を含む一枚の画像である。まず復元モデルDRSformerで除去しやすい劣化を処理し、一次復元画像を得る。元画像と一次復元画像は、画像を小さな情報表現に圧縮するVAEで「潜在表現」に変える。Modulate&Gateは生成途中の状態に合わせて両者の情報を調整し、場所ごとの重みを決める。例えば水滴のない部分では、元画像の情報も生成の手掛かりにできる。
次に、拡散モデルが雑音から段階的に画像を作る。選ばれた情報は各段階の生成を導く条件となる。Fidelity Encoderは二枚の画像から細部の特徴を取り出し、圧縮した表現を画像へ戻す際に形を保つよう働く。最後に、一次復元画像を色の基準として、小領域ごとに出力の色を補正する。
新規性
著者らは、ガラス越しの画像に雨粒と反射が共存する劣化を、両者の統一除去課題「UR3」として定義した。背景が同じ鮮明画像と劣化画像を対にした実写データセットRDRFも構築している。
手法上の要点は、元画像と一次復元画像をともに生成の条件とし、Modulate&Gateで両者の情報を場所ごとに選ぶことにある。さらにFidelity Encoderを加え、画像の圧縮過程に伴う形の崩れを抑える。
従来手法との違い
著者らによると、従来の雨粒除去法と反射除去法は主に個別の劣化を対象とし、順番に適用する方法も両者の関係を十分に扱えない。論文では、個別の除去法、連続適用、複数種の劣化を扱う手法を比較対象としている。
DiffUR3は、一次復元後に元画像も生成条件として使う。同じ手法内の比較では、どちらか一方だけを条件にする構成や、両方を単純に結合する構成と比べた。既存手法との比較表は確認できた本文の範囲で途中までのため、優劣の数値はここでは示さない。
実験結果
著者らはRDRFの307場面を、学習用216場面・9003画像対と、試験用91場面・277画像対に分けた。試験用には各場面につき1～5画像対がある。評価には、正解画像との近さを見るPSNR、SSIM、LPIPSなどを用いている。
RDRFでの構成要素比較では、二画像を単純結合した構成のPSNR／SSIM／LPIPSが28.60／0.9294／0.0899、Modulate&Gateを含むDiffUR3が29.41／0.9372／0.0813だった。Fidelity Encoderの比較でも、同機構なしの26.95／0.8042／0.1082に対し、同機構ありは29.41／0.9372／0.0813と著者らは報告する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：停車中の車両から、雨粒と車内の映り込みが重なる道路標識を撮り、記録担当者向けの確認画像を作る。入力はガラス越しの静止画像、出力は復元画像と元画像を並べた記録とする。標識の内容は原画像とも照合する。
適合性を調べるには、同じ静止場面の劣化画像と鮮明画像の対が学習用に必要で、鮮明画像を正解ラベルにする。撮影にはガラス越しのカメラ画像を使い、反射を抑え、ガラスの水滴を除いた対応画像も収集する。対象の撮影条件に合わせた学習または調整が前提となる。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象カメラで静止した場面を撮り、雨粒と反射を含む画像と、背景・カメラ位置を保った鮮明画像を対で集める。後者を正解ラベルとし、ガラス上の水滴と反射条件も記録する。必要な撮影手段はガラス越しのカメラと対応画像を得るための条件調整である。
対象環境の画像対で学習または調整し、場面単位で学習用と評価用を分ける。比較基準は元画像と一次復元だけの出力とする。評価用の対でPSNR、SSIM、LPIPSを測り、雨粒と反射が重なる部分の標識文字や輪郭を人が照合する。実際の記録作業では元画像も併記して判断への影響を確かめる。
限界と課題
著者らは、大きい、または密な雨粒や強い反射で背景情報が完全に失われる領域を、復元が難しい箇所として挙げる。画像を圧縮する処理による形の崩れや、拡散モデルの色ずれも示し、補正機構を設けている。
編集上の検証事項は、見えなかった文字や物体が正しく再現されたか、撮影条件が変わっても形と色を保てるかである。RDRFは実写だが制御した環境で収集されている。走行中の車載画像や夜間画像への適合、判断に使える精度は、示された構成要素の比較値からは分からない。
出典
元のタイトル・要旨を確認する（英語）
Unified Removal of Raindrops and Reflections: A New Benchmark and A Novel Pipeline
When capturing images through glass surfaces or windshields on rainy days, raindrops and reflections frequently co-occur to significantly reduce the visibility of captured images. This practical problem lacks attention and needs to be resolved urgently. Prior de-raindrop, de-reflection, and all-in-one models have failed to address this composite degradation. To this end, we first formally define the unified removal of raindrops and reflections (UR$^3$) task for the first time and construct a real-shot dataset, namely RainDrop and ReFlection (RDRF), which provides a new benchmark with substantial, high-quality, diverse image pairs. Then, we propose a novel diffusion-based framework (i.e., DiffUR$^3$) with several target designs to address this challenging task. By leveraging the powerful generative prior, DiffUR$^3$ successfully removes both types of degradations. Extensive experiments demonstrate that our method achieves state-of-the-art performance on our benchmark and on challenging in-the-wild images.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01