アーカイブ / Computer Vision / Generative AI
動画の消去領域を補い、長い映像のつなぎ目も整えるDiffuEraser
DiffuEraser
DiffuEraserの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2: Overview of the proposed video inpainting model DiffuEraser , based on stable diffusion. The main denoising UNet performs the denoising process to generate the final output. The BrushNet branch extracts features from masked images, which are added to the main denoising UNet layer by layer after a zero convolution block. Temporal attention is incorporated after self-attention and cross-attention to improve temporal consistency.
概要
- 動画と消去マスクを入力し、Propainterの補完結果を手掛かりに拡散モデルで欠損領域を生成する。
- 長い動画では、離れたフレームの情報を利用する事前処理と区間境界の平滑化を組み合わせる。
- 著者らは図でPropainterより良い質感と時間的な一貫性を報告するが、確認できた本文に改善幅の数値表はない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、DiffuEraserの仕組み
- 01元動画と消去マスク
- 02Propainterで事前補完
- 03補完結果を生成に注入
- 04時間方向を調整
- 05補完済み動画
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
DiffuEraserは、動画内で指定した領域を補い、前後のフレームでも見た目がつながるようにする手法だ。物体を消す編集では、ほかの時点に写った背景を利用できる部分と、どの時点にも写っていない部分を扱う必要がある。
従来の手法は、見えている画素を別のフレームから運び、残りを生成する。著者らによると、消去領域が広い場合は補完部分にぼけや乱れが生じ、フレーム間で内容が食い違いやすい。
手法
入力は動画と、消す領域を示す各フレームのマスクである。まずPropainterの補完結果を作り、DDIM inversionという操作で拡散モデル内部のノイズを含む表現へ戻して、生成時の初期値と弱い条件に使う。たとえば通行人を消す場合、別の時点に見える背景を手掛かりにし、どの時点にも見えない部分は新たに生成する。
生成部ではBrushNetがマスク付き画像の特徴を取り出し、ノイズを段階的に除いて画像を作るUNetへ渡す。フレーム間の関係を扱う時間方向の注意機構も加える。長い動画では間引いたフレームの事前処理結果で各フレームの処理を導き、区間の境界ではノイズ除去を始める位置を交互にずらして変化をならす。
新規性
DiffuEraserは、画像補完モデルBrushNetにフレーム間の関係を扱う機構を加え、既存手法Propainterの補完結果を生成時の初期値と弱い条件として使う。著者らは、これによってノイズ状の乱れや不要な物体の生成を抑えると説明する。
長い動画に対しては、PropainterとDiffuEraserの双方が離れたフレームの情報を利用できるようにする。さらに、区間の境界でノイズ除去の処理位置をずらし、見た目の変化をならす構成を提案している。
従来手法との違い
比較対象のPropainterは、オプティカルフローという画素の動きの推定を使って、別のフレームに写った内容を運ぶ。残る領域は、画像内の広い関係を扱うTransformerで補う。著者らは、大きなマスクではぼけや模様状の乱れが生じると述べる。
DiffuEraserはPropainterの結果を手掛かりとして取り込み、拡散モデルで補完領域を生成する。著者らの図は両手法の質感と時間的な一貫性を比較しているが、確認できた本文の範囲では、その差を示す数値表はない。
実験結果
著者らはPanda-70Mを場面の切れ目で分割・選別した3,183,727本の短い動画を学習に使い、形や動きが変わるマスク列を生成した。解像度512で画像補完部を学習した後、22フレームの系列で動きの機構を学習している。
著者らは図でPropainterとの質感と時間的な一貫性を比較し、改善を報告する。また、10秒・540p・25 FPSの動画をNvidia L20で処理する例として約200秒を挙げる。確認できた本文の範囲では、評価用データの分割や画質指標の数値表は示されておらず、改善幅は定量的に確認できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：建設現場の定点撮影動画から、一時的に映り込んだ目印を消した説明用映像を作る。入力は撮影動画と、消去領域をフレームごとに示すマスクで、出力はその領域を補った動画とする。
この用途案では、対象現場の動画とマスクを用意し、撮影条件に合わせてマスクの作成と目視確認の手順を調整する。追加学習用の教師ラベルや専用センサーは前提にしない。生成された背景は記録された事実と区別して扱う。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象現場の短い動画を数本集め、消す領域のフレーム別マスクを作る。同じ動画とマスクをPropainter単体とDiffuEraserに入力し、補完結果を比較する。まず追加学習なしで試し、必要なら現場に近い動画と対応するマスクを集め、評価用動画を分ける。
背景の線のつながり、補完部分のちらつき、マスク外の変化、処理時間を記録する。特に大きなマスクと区間の境界を人が確認し、失敗箇所の数と種類を比べる。専用センサーや追加の教師ラベルを前提にせず、用途に合うかを判定する。
限界と課題
著者らは、長い動画を分割すると区間の境界で補完結果が変わり得ると述べる。境界をならす処理の後も、動画の最初と最後の不一致により、全体で完全な一貫性は得られないとしている。
編集上の検証事項は、対象が長時間背景を隠す場合の補完内容、細い構造物の形、カメラ移動時のちらつきである。確認できた本文の範囲では、条件別の失敗率や画質指標の数値表がなく、用途ごとの信頼性は判断できない。
出典
元のタイトル・要旨を確認する（英語）
DiffuEraser: A Diffusion Model for Video Inpainting
Recent video inpainting algorithms integrate flow-based pixel propagation with transformer-based generation to leverage optical flow for restoring textures and objects using information from neighboring frames, while completing masked regions through visual Transformers. However, these approaches often encounter blurring and temporal inconsistencies when dealing with large masks, highlighting the need for models with enhanced generative capabilities. Recently, diffusion models have emerged as a prominent technique in image and video generation due to their impressive performance. In this paper, we introduce DiffuEraser, a video inpainting model based on stable diffusion, designed to fill masked regions with greater details and more coherent structures. We incorporate prior information to provide initialization and weak conditioning,which helps mitigate noisy artifacts and suppress hallucinations. Additionally, to improve temporal consistency during long-sequence inference, we expand the temporal receptive fields of both the prior model and DiffuEraser, and further enhance consistency by leveraging the temporal smoothing property of Video Diffusion Models. Experimental results demonstrate that our proposed method outperforms state-of-the-art techniques in both content completeness and temporal consistency while maintaining acceptable efficiency.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01