アーカイブ / Computer Vision
5種類のぼけを一つのモデルで補正するDeMoE：未知の撮影条件では専門処理の選択が課題
DeMoE
DeMoEの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Illustration of different types of blur restoration. At top, a set of possible deblurring restoration strategies. At bottom, a comparison of task-specific methods and our proposed DeMoE . Previous approaches can tackle only specific types of blur and fail to deal with different types of blur. Our all-in-one deblurring method addresses multiple types of blur degradations using a single model. Zoom in for optimal comparison.
概要
- DeMoEは画像の特徴からぼけ種類に応じた専門処理を選び、単一モデルで画像を復元する。
- 著者らのAIO-Blur評価では、5つの結果の平均PSNRがDeMoEで29.19 dB、PromptIRで28.63 dBだった。
- 未学習条件のRSBlurでは自動選択と手動指定のPSNRに差があり、対象環境で振り分け器を検証する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、DeMoEの仕組み
- 01ぼけ画像
- 02共通特徴の抽出
- 03専門処理の選択
- 04画像復元
- 05補正画像
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
DeMoEは、カメラや被写体の動き、暗所での撮影、ピントずれによる画像のぼけを、一つのモデルで補正する方法である。原因によってぼけ方が異なるため、画像から鮮明な像を推定する処理には幅広い撮影条件への対応が求められる。
従来の学習型手法は、特定のぼけに合わせた画像データで学習するものが多い。複数の条件を扱うには種類別のモデルを用意し、入力に応じて選ぶ必要があるという問題から、著者らは共通のモデルで処理する構成を検討した。
手法
入力した画像から、特徴抽出部が復元とぼけの判別に使う情報を取り出す。振り分け器はその情報から専門処理ごとの重みを決める。専門処理とは、モデル内で特定のぼけに対応するよう学習する部分であり、復元部は選ばれた処理の結果を重みに応じて合わせる。例えば手ぶれ画像では、カメラの動きによるぼけに対応する処理の選択を狙う。
学習には、ぼけ画像と対応する鮮明な正解画像、ぼけ種類のラベルを使う。まず基礎モデルと振り分け器を画像復元と種類判別の両方で学習し、次に特徴抽出部と振り分け器を固定して復元部を調整する。学習中は全専門処理を使い、復元時は振り分け器が選ぶ重み上位の処理を使う。
新規性
DeMoEは、ぼけ画像に共通する特徴を抽出する部分と、種類ごとの復元を担う部分を一つのモデルに収める。著者らは、異なるぼけで学習したNAFNetの重みを比較し、暗所のぼけを除く組み合わせで一部の層に高い相関があることを設計の根拠とした。
復元時には画像から専門処理の重みを決め、重みが大きい処理だけを使える。未学習の撮影条件では専門処理を手動で指定する方法も示すが、その結果は自動選択の性能とは区別する必要がある。
従来手法との違い
比較対象には、同じAIO-Blurで学習したNAFNetやPromptIRなどがある。NAFNetを基礎とするDeMoEでは、特徴抽出部にぼけを判別する振り分け器を加え、復元部に種類別の専門処理を設ける。
著者らの表では、5つの評価結果の平均PSNRはDeMoEが29.19 dB、NAFNetが29.12 dB、PromptIRが28.63 dBだった。一方、DeMoEが種類別の専用手法を常に上回るわけではなく、著者らもRealBlurやGoProでは下回る場合があると述べている。
実験結果
著者らはRealBlur、ReLoBlur、LOLBlur、GoPro、DPDDを集めたAIO-Blurで学習・評価し、各データセットの元の学習・評価分割を使った。正解画像との近さを示すPSNRは高いほどよく、5つの評価結果の平均はDeMoEが29.19 dB、PromptIRが28.63 dB、NAFNetが29.12 dBだった。
未学習条件を調べるAIO-Blur-OODのRSBlurでは、DeMoEのPSNRは自動選択で19.23 dB、RealBlur用の専門処理を手動指定すると27.53 dBだった。専用手法MLWNet-Bは30.91 dBであり、手動指定後の値もこれを下回る。確認できた本文の範囲では、車載画像など対象業務での評価は示されていない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：車載カメラの記録から、車体の揺れでぼけた画像を補正し、道路状況を確認する担当者に原画像と補正画像を並べて示す。入力はカメラ画像、出力は確認用の補正画像であり、道路標示や車両の輪郭を担当者が原画像と照合する。
対象カメラで撮ったぼけ画像と対応する鮮明な画像、撮影条件に対応するぼけ種類のラベルを検証・調整用に用意する。追加センサーは想定せず、論文で使われた撮影条件との差を調べてから、振り分け器や専門処理の調整を検討する用途仮説である。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象カメラから、ぼけ画像と対応する鮮明な正解画像を集め、カメラの動きや被写体の動きなど、画像に対応するぼけ種類をラベル付けする。入力は画像とし、追加センサーは前提にせず、まず対象データで振り分け器の選択を確認する。
同じ評価画像で、現行の補正方法またはNAFNetとDeMoEを比べ、PSNR、処理時間、専門処理の選択結果を記録する。誤選択した画像を調べ、必要なら対象データで調整したうえで、調整に使っていない画像でも画質と選択結果を測り直す。
限界と課題
著者らは、学習時と条件が異なるRSBlurとReal-LOLBlurで性能が落ち、DeMoEの振り分け器が適切な専門処理を選べないと報告する。手動指定で改善した結果も示すが、RSBlurでは専用手法のPSNRに届いていない。RealBlurやGoProで専用手法に劣る場合も認めている。
編集上の検証事項は、対象画像で複数のぼけが重なる場合の選択、細部の誤復元、手動指定に必要な判断である。対象業務での有効性や自動選択後の画質は、手動指定後の数値からは判断できない。
出典
元のタイトル・要旨を確認する（英語）
Towards Unified Image Deblurring using a Mixture-of-Experts Decoder
Image deblurring, removing blurring artifacts from images, is a fundamental task in computational photography and low-level computer vision. Existing approaches focus on specialized solutions tailored to particular blur types, thus, these solutions lack generalization. This limitation in current methods implies requiring multiple models to cover several blur types, which is not practical in many real scenarios. In this paper, we introduce the first all-in-one deblurring method capable of efficiently restoring images affected by diverse blur degradations, including global motion, local motion, blur in low-light conditions, and defocus blur. We propose a mixture-of-experts (MoE) decoding module, which dynamically routes image features based on the recognized blur degradation, enabling precise and efficient restoration in an end-to-end manner. Our unified approach not only achieves performance comparable to dedicated task-specific models, but also shows promising generalization to unseen blur scenarios, particularly when leveraging appropriate expert selection. Code available at https://github.com/cidautai/DeMoE.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01