アーカイブ / Computer Vision
暗所動画の拡大に、照明情報で整えたイベント信号を使うRetinexEVSR
RetinexEVSR
RetinexEVSRの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: An example (a) from an extremely low-light (-6.7 EV) LR sample, enhanced by (b) SOTA LVE ( Li et al. 2023 ) + VSR ( Xu et al. 2024 ) methods; (c) SOTA one-stage LVSR method ( Lu et al. 2023 ) ; and (e) our event-based approach. It can be observed that only our method produces well-lit, high-quality results with clearly recognizable text.
概要
- 暗所の低解像度RGB動画とイベント信号を入力し、明るい高解像度動画を復元する。
- 映像の照明情報でイベントの特徴を整え、その特徴で反射率の細部を補う。
- 著者らの4倍拡大評価では、SDSD屋内のPSNRが30.28 dBで、EvTextureの27.33 dBを上回った。
補足:編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、RetinexEVSRの仕組み
- 01暗所映像とイベント
- 02照明と反射率に分解
- 03照明でイベント補正
- 04反射率の細部を補強
- 05明るい拡大動画
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
RetinexEVSRは、暗く低解像度の動画から明るい高解像度の動画を復元する手法である。暗所では映像の明暗差が小さく、拡大しても細い線や文字を推定する手掛かりが足りない。夜間の監視映像などで、遠くの対象を確認する際に問題となる。
イベントカメラは、画素ごとの明るさの変化を記録するセンサーで、動く輪郭の手掛かりを得られる。ただし暗所のイベント信号にもノイズや尾引きがあり、RGB映像とそのまま合わせると復元結果に影響しうる。
手法
入力は暗い低解像度のRGB画像列と、それに対応するイベント信号で、出力は明るい高解像度の画像列である。各画像を照明成分と、模様や構造を表す反射率成分に分ける。この分け方はRetinexという画像モデルに基づく。照明の情報を使い、イベント信号から取り出した特徴を粗い範囲から細かい範囲へ順に整える。
次に、整えたイベントの特徴で反射率に不足する輪郭や模様を補う。連続する画像の位置合わせには、反射率から推定した動きも使い、照明・反射率・イベントの特徴を合わせて拡大する。例えば暗い場面で動く車両なら、イベント信号に現れる輪郭の変化を細部復元の手掛かりにする。
新規性
著者らはRetinexEVSRを、暗所動画の超解像にイベント信号を使う初の枠組みと位置付ける。映像とイベント信号を直接合わせる前に、映像から得た照明情報でイベントの特徴を整える。
整えた特徴を使って反射率の細部を補い、最後の拡大にも照明・反射率・イベントの情報を使う。照明からイベントへ、イベントから反射率へと手掛かりを渡す設計が提案の中心である。
従来手法との違い
著者らは、暗所映像を明るくしてから拡大する方式、拡大後に明るくする方式、両方を一度に行う方式と比較した。前二者では、先の処理で生じた誤差やノイズが後の処理に影響すると説明する。
イベント信号を使う従来方式との違いは、暗所で劣化した映像とイベント信号を直接融合する前に、照明情報でイベントの特徴を整える点にある。4倍拡大の比較表では、各方式を同じデータセットで再学習している。
実験結果
著者らはSDSD、SDE、RELEDの3データセットで4倍拡大を評価した。SDSDには実測のイベント信号がなく、シミュレーターで生成している。SDEとRELEDには実測のイベントデータがある。SDSD屋内のPSNRは提案手法が30.28 dB、比較対象のEvTextureが27.33 dBだった。
RELEDのPSNRはそれぞれ28.92 dBと28.07 dB。低解像度の256×320画像1枚当たりの処理時間は44.5 msと126.9 msと報告された。PSNRは正解画像との画素値の近さを示す指標で、高いほどよい。これらの数値は著者らの評価条件での結果である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案:夜間の施設入口を撮る固定カメラで、遠くの車両を確認する補助映像を作る。入力は時刻と画角を合わせた暗所の低解像度RGB動画とイベントカメラの信号、出力は担当者が原映像と並べて見る明るい拡大動画とする。
対象の入口で両センサーの記録を集め、対応する明るい高解像度映像を学習用の正解ラベルとして用意して適応させる。ナンバープレートの文字を正しく読めるかは別途検証が必要で、画質指標の改善だけでは判断できない。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案:対象の入口でRGBカメラとイベントカメラを使い、時刻と画角を合わせた暗所動画を集める。学習には、同じ場面に対応する明るい高解像度映像を正解ラベルとして用意し、入口の照明や撮影位置に合わせてモデルを適応させる。
暗所RGB動画だけで拡大する方式を比較基準にし、学習に使わない別日の映像で画質と処理時間を測る。正解映像を用意できる場面ではPSNRを比較し、プレート文字は原映像と照合して正読率を数える。照明条件と車両の動きごとに結果を分ける。
限界と課題
著者らは、暗所のRGB映像では照明と細部が失われ、イベント信号にもノイズや時間方向の尾引きが生じると説明する。これらは直接融合を難しくする入力側の問題であり、提案手法が常に解消すると示したものではない。
編集上の検証事項は、現場で二つのセンサーの時刻と画角を合わせられるか、照明の急変や車両の動きで誤った細部が生じないかである。報告された画質指標と処理時間からは、未評価の入口での性能や文字の正読率までは分からない。
出典
元のタイトル・要旨を確認する(英語)
Seeing the Unseen: Zooming in the Dark with Event Cameras
This paper addresses low-light video super-resolution (LVSR), aiming to restore high-resolution videos from low-light, low-resolution (LR) inputs. Existing LVSR methods often struggle to recover fine details due to limited contrast and insufficient high-frequency information. To overcome these challenges, we present RetinexEVSR, the first event-driven LVSR framework that leverages high-contrast event signals and Retinex-inspired priors to enhance video quality under low-light scenarios. Unlike previous approaches that directly fuse degraded signals, RetinexEVSR introduces a novel bidirectional cross-modal fusion strategy to extract and integrate meaningful cues from noisy event data and degraded RGB frames. Specifically, an illumination-guided event enhancement module is designed to progressively refine event features using illumination maps derived from the Retinex model, thereby suppressing low-light artifacts while preserving high-contrast details. Furthermore, we propose an event-guided reflectance enhancement module that utilizes the enhanced event features to dynamically recover reflectance details via a multi-scale fusion mechanism. Experimental results show that our RetinexEVSR achieves state-of-the-art performance on three datasets. Notably, on the SDSD benchmark, our method can get up to 2.95 dB gain while reducing runtime by 65% compared to prior event-based methods. Code: https://github.com/DachunKai/RetinexEVSR.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01




