アーカイブ / Generative AI / Computer Vision
元画像の選択情報を再利用し、文章で指定した箇所を編集するAREdit
AREdit
AREditの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2 : The overall framework of the proposed method built on the pretrained Infinity [ 14 ] . Given an input image and its text prompt, we first cache the bit labels 𝐑 q u e u e \mathbf{R}_{queue} and probability distributions 𝐏 q u e u e \mathbf{P}_{queue} for editing using a feedforward evaluation as in Algorithm 1 . During editing, for steps where k ≤ γ k\leq\gamma , cached bit labels are reused to preserve the overall appearance and structure of the image. For steps where k > γ k>\gamma , we compute a fine-grained adaptive mask, 𝐌 k \mathbf{M}_{k} , based on the probability distributions 𝐏 k \mathbf{P}_{k} and 𝐏 k t g t \mathbf{P}_{k}^{tgt} . Here, 𝐏 k \mathbf{P}_{k} is from the cached distributions 𝐏 c a c h e \mathbf{P}_{cache} , and 𝐏 k t g t \mathbf{P}_{k}^{tgt} is predicted by conditioning on the target prompt, t T t_{T} . The fine-grained mask 𝐌 k ∈ ℝ ( h k × w k ) × d \mathbf{M}_{k}\in\mathbb{R}^{(h_{k}\times w_{k})\times d} is then employed to blend the cached bit labels 𝐑 k \mathbf{R}_{k} with the randomly sampled ones 𝐑 k ′ \mathbf{R}_{k}^{\prime} from the distribution 𝐏 k t g t \mathbf{P}_{k}^{tgt} . Finally, the decoder generates the edited image using the content ( 𝐑 1 , … , 𝐑 γ , 𝐑 k + 1 t g t , … , 𝐑 K t g t ) (\mathbf{R}_{1},...,\mathbf{R}_{\gamma},\mathbf{R}^{tgt}_{k+1},...,\mathbf{R}^{tgt}_{K}) . For illustration purposes, we use K = 3 K=3 and γ = 2 \gamma=2 as an example.
概要
- AREditは元画像のビット選択結果と予測確率を保存し、反転や追加学習なしで文章指定の画像編集を行う。
- 元の文章と目標の文章で予測確率を比べ、変更候補のビットを選ぶ。初期段階の情報は再利用して構図を保つ。
- 著者らのPIE-Bench評価では、未編集領域のSSIMが0.8370、LPIPSが0.0870。A100 GPUでの１K画像編集は初回2.5秒、後続回1.2秒だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、AREditの仕組み
- 01元画像と元の文章
- 02ビットと確率を保存
- 03変更候補を判定
- 04ビットを組み直す
- 05編集画像
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
AREditは、元画像を保ちながら文章で指定した箇所を変えるための方法である。従来の編集では、画像を生成過程で使う表現へ戻す「反転」の誤差が、指定していない部分の変化につながることがある。
著者らは、反転が正確でも文章と画像の特徴が結び付いているため、局所的な指示が画像全体へ及ぶ問題を挙げる。商品写真や制作素材では、変更箇所だけでなく、残すべき内容を保てるかが実用上の判断材料になる。
手法
AREditは、粗い構図から細部へ順に画像を作る視覚自己回帰モデルを使う。自己回帰とは、先に決まった内容を手掛かりに次の内容を予測する方式である。まず元画像と元の文章から、各段階で選ばれたビットの値と予測確率を保存する。ビットは画像内部の特徴を表す二値の単位で、画素そのものではない。
編集時は目標の文章から予測確率を求め、元のビットが選ばれる確率の低下がしきい値を超えた箇所を変更候補にする。初期段階のビットは再利用して全体の構図を保ち、後の段階では変更候補に新しく選んだ値を使って画像を復元する。例えば車の色を変える指示なら、その変更を狙いながら周囲の情報を再利用する。
新規性
AREditは、元画像から生成用のノイズを逆算する「反転」を使わず、画像から得たビットの選択結果と予測確率を保存して編集に使う。著者らは、追加学習を要しない視覚自己回帰モデルによる文章指定画像編集として提案している。
変更の判定は画像上の位置だけで一括せず、位置ごとのビット単位で行う。初期段階の情報を再利用して全体の構図を保ち、後の段階で変更候補を選び直す構成である。
従来手法との違い
比較対象は、拡散モデルを使うPrompt2Prompt、Pix2Pix-Zero、MasaCtrl、PnP、PnP-DirInv.、LEdits++の６手法と、Rectified Flowを使うRF-Inversionである。拡散モデルとRectified Flowは、画像を段階的に生成する方式として、ここでは元画像から編集用の表現を求める反転を使う。
AREditは元画像を一度処理して選択結果などを保存し、後続の編集で再利用する。PIE-Benchの掲載表では未編集領域の保持に関する指標が最良だが、全指標で全手法を上回るわけではない。速度の掲載値で直接比べられる相手はLEdits++とRF-Inversionである。
実験結果
著者らは、実画像と人工画像を含む700枚、10種類の編集を扱うPIE-Benchで評価した。掲載表では、AREditの未編集領域のSSIMが0.8370、LPIPSが0.0870で、いずれも掲載された比較手法中の最良値だった。SSIMは構造の近さを測り高いほどよく、LPIPSは見た目の差を測り低いほどよい。
速度はA100 GPU上で各手法を10回測った平均で、入出力時間を除く。１K解像度でAREditは初回2.5秒、保存情報を使う後続回1.2秒だった。掲載されたLEdits++は19秒と12秒、RF-Inversionは27秒と13.5秒である。これらは著者らの測定条件での値である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：商品写真の背景色を変え、担当者が候補を選ぶ作業に試す。入力は利用権を確認した元写真、元の状態を表す文章、目標の背景色を表す文章とし、出力は背景色を変更した候補画像とする。
方法をそのまま試すための追加学習画像や正解ラベルは用意せず、撮影用センサーも追加しない。検証用には担当者が商品領域と変更可能な背景領域に印を付ける。写真に合わせて文章と設定値を調整し、商品の色や形を保てるかを確かめる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：利用権を確認した商品写真を少数選び、それぞれの元の状態と変更後の背景色を文章で記す。方法の追加学習用画像や正解ラベル、追加センサーは用意せず、検証用に担当者が商品領域と変更可能な範囲を記録する。文章と設定値は対象写真に合わせて調整する。
基準は現行の手作業編集とし、同じ写真と変更指示で候補を作る。商品領域の色・輪郭の変化、背景色の指示との一致、担当者の修正回数、１枚当たりの作業時間を記録する。元画像の保存処理と後続の編集を分けて計時し、繰り返し編集での差も確かめる。
限界と課題
確認できた本文の範囲では、著者らは初期段階の再利用数と変更判定のしきい値が、元画像の保持と新しい内容の生成を調整すると説明している。一方、失敗率や適用できない画像の種類を体系的に示す結果は確認できない。
編集上の検証事項は、細い輪郭、文字、似た物体が複数ある写真で、指定外の領域が変わらないかである。掲載された速度は特定のモデルとA100 GPUを使い、入出力時間を除いた測定値なので、実際の作業で感じる待ち時間は別に測る必要がある。
出典
元のタイトル・要旨を確認する（英語）
Training-Free Text-Guided Image Editing with Visual Autoregressive Model
Text-guided image editing is an essential task that enables users to modify images through natural language descriptions. Recent advances in diffusion models and rectified flows have significantly improved editing quality, primarily relying on inversion techniques to extract structured noise from input images. However, inaccuracies in inversion can propagate errors, leading to unintended modifications and compromising fidelity. Moreover, even with perfect inversion, the entanglement between textual prompts and image features often results in global changes when only local edits are intended. To address these challenges, we propose a novel text-guided image editing framework based on VAR (Visual AutoRegressive modeling), which eliminates the need for explicit inversion while ensuring precise and controlled modifications. Our method introduces a caching mechanism that stores token indices and probability distributions from the original image, capturing the relationship between the source prompt and the image. Using this cache, we design an adaptive fine-grained masking strategy that dynamically identifies and constrains modifications to relevant regions, preventing unintended changes. A token reassembling approach further refines the editing process, enhancing diversity, fidelity, and control. Our framework operates in a training-free manner and achieves high-fidelity editing with faster inference speeds, processing a 1K resolution image in as fast as 1.2 seconds. Extensive experiments demonstrate that our method achieves performance comparable to, or even surpassing, existing diffusion- and rectified flow-based approaches in both quantitative metrics and visual quality. The code will be released.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01