新着研究 / Generative AI / Computer Vision
画像編集の初期だけ原画像へ戻す力を補正、CFGの不要な描き直しを抑える
TI2I Early Correction
TI2I Early Correctionの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : We propose a simple modification in TI2I flows that substantially improves source preservation while maintaining text alignment. In the examples above, source images are on the left, baseline edits in the middle (we evaluate Qwen, FLUX.2 and PixelGen models) and editing with our correction on the right.
概要
- 画像と文章で編集するフローモデルでは、文章条件のない分岐も原画像を保つとは限らないと分析する。
- 生成初期の基準速度だけを原画像へ向かう解析的な速度へ置換し、指示による速度差は保持する。
- 追加のモデル評価なしで保持と指示一致の両立を改善するが、補正時間の一般的な選択規則は未提示。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、TI2I Early Correctionの仕組み
- 01原画像と編集指示
- 02条件別の速度を予測
- 03初期の基準速度を補正
- 04編集画像を生成
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
画像の一部を文章で変えたいとき、編集器には指示を実現すると同時に残りを保つことが求められる。文章への追従を強めるCFGは、条件あり・なしの予測差を拡大する仕組みだが、強くすると不要な描き直しも増えやすい。
本研究は画像と文章を直接条件にするフロー型編集器を調べる。文章なしの分岐にも編集後画像を学ばせる訓練では、その分岐が「何も編集しない」基準になっていない点に原因を求める。
手法
フローモデルはノイズから画像へ徐々に状態を変える。その変化方向を速度と呼ぶ。通常のCFGでは、文章なしの速度に文章ありとの差を重み付きで足す。ここで文章なしでも原画像は条件として与えられているため、完全な無条件生成とは異なる。
提案はノイズの強い初期区間だけ、足し算の基準速度を現在状態から原画像へ向かう式へ置き換える。文章による速度差は元の予測のまま残し、その後は通常処理へ戻す。例えば被写体の色だけ変える際に、背景や個体の形まで変わることを抑える狙いである。モデルの重みを変えず、追加のモデル呼び出しも不要とする。
新規性
生成初期に編集場所を示す信号が集中することを観察し、そこで生じる基準分岐のずれへ限定して介入する。CFGの強さを一律に弱めるのではなく、原画像保持の基準と編集指示の差分を分けて扱う点が特徴である。
差分の計算に使う分岐まで全て補正すると歪みが生じるため、置換する場所が重要になる。局所編集の分析から、潜在空間で動く一般的な編集器への適用も検討している。
従来手法との違い
比較はCFGなし、推奨相当の強さのCFG、初期補正付きの条件で行う。CFGなしでは保持が強くても指示が実現しない場合があり、保持指標だけでの比較は不十分である。
PixelGenの局所編集では領域マスクを使う基準も調べ、補正なしでマスクだけ付けると大きな歪みが出たと報告する。提案補正はマスクを必須とせず、画素空間と潜在空間の双方で保持と指示一致の交換関係を検査する。
実験結果
品質確認後に約200件ずつの合成データを用い、PixelGen、Qwen-Image-Edit、FLUX.2を複数解像度で評価する。Qwenの1024画素条件ではCFG時のPSNRが11.25から補正で14.05へ、知覚差LPIPSは0.5616から0.4159へ改善した。
同条件の文章一致CLIPは0.2905から0.2946となった。一方、FLUX.2の1024画素条件ではPSNRが20.22から20.33と小幅で、モデルや解像度による差がある。数値は著者の設定内の結果である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案として、商品画像の一部属性を変える草案作成に使う。入力は既存の商品写真と色などの変更指示、出力は元の形や背景をできるだけ保った編集候補であり、担当者が採用前に確認する。
補正区間とCFGの強さを別々に調整して候補を作り、指示実現と無関係な領域の保持を並べて見る。単に原画像に似ている結果ではなく、必要な変更だけが行われたかを評価する作業に向いている。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案では、許諾済み画像と局所・全体の編集指示を用意し、同じ乱数・生成ステップ・CFGで補正の有無を比べる。補正区間は少数候補に絞り、モデルごとに探索する。
変更領域外の差、被写体の同一性、指示の達成率、処理時間を記録し、目視評価も組み合わせる。背景を保持するほど指示未達が増えていないかを確認し、異なる解像度や複雑な指示でも採用基準を満たす範囲を決める。
限界と課題
著者は補正区間を決める一般則を提示していない。また公開モデルの訓練・後学習の全情報が分からず、効き方の違いをフローの仕組みだけに帰属できないと述べる。
編集上の確認点は、合成データ以外の写真での効果と、人が求める保持の定義である。PSNRや特徴類似度は、望む編集をしない画像でも高くなり得る。追加モデル評価がないことと、あらゆる実装で所要時間が完全に同一になることも分けて確認したい。
出典
元のタイトル・要旨を確認する（英語）
Rethinking Classifier-Free Guidance for TI2I Flow Matching
We study Text-and-Image-to-Image (TI2I) flow matching methods for controllable image editing. In a broader generative modeling context, Classifier-Free Guidance (CFG) is established as a key component responsible for high quality outputs. However, we argue that its role in TI2I modeling is poorly understood. Specifically, we make the surprising observation that the CFG mechanism is implicitly harmful for editing in the noisy phase of flow modeling, hindering instruction following and controllability. We propose a simple correction in the early flow steps, enabling a richer alignment-preservation tradeoff at no extra cost. The effectiveness of our approach is demonstrated on both pixel-space and latent TI2I flows.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集：2026-10-16