新着研究 / Computer Vision
画像・動画編集で参照画像をより忠実に使う、領域別の注意配分補正
RefGAP
RefGAPの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: RefGAP overview. Attention-guided corrections strengthen reference attention inside the edit and suppress it outside, using two coefficients shared across approaches and tasks.
概要
- 編集領域では参照への注意を強め、保持領域では抑える補正を、推論中の測定値から決める。
- ７種類の画像・動画編集器で、頭部・顔入れ替えの同一人物らしさが改善した。
- 背景置換では効果が混在し、姿勢や保持領域の変化も合わせて検証する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、RefGAPの仕組み
- 01元画像と参照画像
- 02領域別の注意量測定
- 03参照先スコア補正
- 04編集後の画像
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
参照画像を使う拡散モデルの編集では、画像や動画の一部を差し替えても、参照した人物や物の特徴が十分に反映されないことがある。拡散モデルとは、画像に加えたノイズを段階的に除きながら生成・編集する方式である。
論文は、編集対象の画素に対応する内部表現が、参照画像に割く「注意」の割合に着目した。たとえばLoomVideoでは、編集領域から参照への注意量が１％未満だった。参照を強めるだけでは、残すべき領域まで変わるおそれもある。
手法
入力は編集元の画像または動画、参照画像、変更箇所を示すマスクである。各層で、編集領域と保持領域の内部表現が参照画像へ向ける注意量を測る。注意量とは、生成中にどの情報をどれほど参照するかを表す重みの合計で、層ごと、ノイズ除去の段階ごとに計算する。
RefGAPは参照先を選ぶ前のスコアに補正値を加える。編集領域では正の値を加えて参照を読みやすくし、保持領域では負の値を加えて不要な影響を抑える。顔を差し替える例なら、顔内では参照顔を強く読み、顔外では元の映像を保つ方向に働く。対象層は事前の注意量測定に固定規則を適用して選び、推論中の補正に重みの再学習は要らない。
新規性
RefGAPの新規性は、編集領域と保持領域の参照画像への注意量を別々に測り、その場で補正量を決める点にある。参照先への配分が少ない編集領域では強め、多い少ないにかかわらず保持領域では参照による変化を抑える方向に働く。
係数と層の選択規則は開発用の４方式で決め、別の方式やタスクにも固定して適用する。ただし、各方式でどの層を補正するかを決めるための事前測定は必要である。
従来手法との違い
比較の基準は、同じ入力と乱数で動かした補正なしの編集器である。また著者らは、方式ごとに強さを調整した固定値の補正とも比較した。固定値方式は編集側の補正だけを変え、保持側の補正と対象層はRefGAPとそろえている。
４方式の頭部入れ替えでは、固定値方式の同一人物らしさの得点はRefGAPより0.000～0.006高かった。RefGAPは方式ごとの強さ探索をせずに近い結果を得た一方、姿勢に関係する特徴点誤差などの兼ね合いは方式により異なる。
実験結果
著者らは４方式の頭部入れ替え40本で係数を決め、７方式を対象にHeadSwapBenchの1,040本とFaceForensics++の顔入れ替え1,000組を評価した。比較では同じ入力・乱数・マスクを使用。同一人物らしさは７方式すべてで改善し、頭部入れ替えの平均差は+0.199、顔入れ替えは+0.237だった。
衣服試着90本でも参照服との類似度は７方式すべてで上がった。一方、背景置換150本では結果が混在し、Qwen-Image-Editの類似度は0.299から0.042へ低下した。著者らは画質に関わるLPIPSと特徴点誤差も報告しており、参照忠実度だけでは評価できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：人物動画の顔を、利用許諾を得た参照画像の人物に差し替える制作工程を想定する。入力は元動画、参照顔画像、顔の編集範囲を示すマスクで、出力は顔を差し替えた動画と確認用の比較画像である。
担当者はまず補正なしとRefGAP適用後を同じ素材で生成し、参照顔への近さと、顔の外側や表情・姿勢の変化を並べて確認する。承認が必要なカットだけを人が選ぶ運用にすれば、参照の再現性と元映像の維持を同時に点検できる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象の編集器と素材を一つ選び、頭部または顔の編集用マスクを用意する。方式ごとの事前測定で対象層を決め、論文の固定係数を使ったRefGAPと、補正なしの出力を同じ入力・乱数で作る。
参照への同一人物らしさに加え、編集範囲外の変化、姿勢や表情のずれ、目視での不自然さを記録する。試験素材には髪や輪郭がマスクをまたぐ例を含める。参照忠実度の上昇が、保持領域の許容できない変化を伴わないかを採否の基準にする。
限界と課題
著者らの結果では、参照人物への類似度が上がっても、方式によっては特徴点誤差が増えた。背景置換への転用は一様でなく、Qwen-Image-Editでは参照背景との類似度が大きく低下した。補正が常に画質や保持性能を改善するとは読めない。
導入前の編集上の確認事項は、マスク境界をまたぐ髪などが自然に残るか、対象素材で顔以外に変化が漏れないか、方式ごとの層選択が安定するかである。入力の種類や編集目的が変わる場合は、同一設定のまま性能を再測定したい。
出典
元のタイトル・要旨を確認する（英語）
Mind the RefGAP: Correcting Reference Attention in Diffusion-Based Visual Editing
Reference-guided diffusion editors struggle to faithfully reproduce user-provided references. We identify a potential bottleneck in diffusion editors: many methods provide limited reference-attention allocation. For example, in LoomVideo, edit-region queries assign less than 1% of their attention mass to the reference. We introduce RefGAP, a training-free correction that determines logit-offset magnitudes online at each layer from the reference-attention mass measured during the forward pass. Positive offsets to reference logits strengthen reference usage by edit-region queries, while negative offsets for keep-region queries limit reference-induced changes outside the edit. Two global coefficients control the correction; they are selected once on validation data from four development diffusion editors and held fixed. Across seven diffusion-based image/video editors, RefGAP improves identity fidelity in head swapping and face swapping. RefGAP achieves a fidelity-preservation trade-off comparable to separately tuned constant edit-side biases, without per-approach strength sweeps. Additional experiments on virtual try-on and background replacement evaluate transfer beyond identity editing.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29