アーカイブ / Generative AI / Computer Vision
指定領域の画像トークンだけを生成する編集手法NEP
Next Editing-token Prediction (NEP)
Next Editing-token Prediction (NEP)の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Our approach avoids full-image generation and does not introduce unintended changes as the previous diffusion-model-based editing approach [ 56 ] .
概要
- NEPは元画像、文章の指示、領域マスクを使い、指定部分の画像トークンを生成する。
- 著者らのMagicBrush単発編集では、目標画像とのL1がNEPで0.0547、UltraEditで0.0575だった。
- 指定領域外を保つ編集にはマスクの用意が必要で、MagicBrushでのNEPの平均GPUメモリ使用量は13.25GBだった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Next Editing-token Prediction (NEP)の仕組み
- 01元画像・指示・マスク
- 02画像とマスクをトークン化
- 03指定部分を順に予測
- 04編集済み画像
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
NEPは、文章の指示に従って元画像の一部を変更する手法である。色を変えたい物だけを編集するとき、周囲まで変われば仕上がりの確認や修正が増える。著者らは、画像全体を生成する従来方式では、変更不要な領域の再構成にも計算を使い、編集すべき領域の学習にも影響すると説明する。
そこで、変更する場所を指定し、その部分の生成に処理を絞る。局所的な変更と元画像の保持を両立できるかが実務上の焦点となる。
手法
NEPは元画像、文章による編集指示、変更する画素を示す領域マスクを入力する。画像を小さな表現単位であるトークンに変え、マスクも各トークンが編集対象かを示す列にする。例えば包装を青くする場合、包装に対応するトークンを順に予測し、その位置に戻して画像を作る。
事前学習では、トークンを任意の順序で生成できる文章から画像へのモデルRLlamaGenを作る。その後、元画像とマスクを参照し、編集対象のトークンだけを予測するよう追加学習する。別の用途として、品質評価を使って修正位置を選び、再生成した候補を採用するか決める反復処理も示している。
新規性
NEPは、画像編集を「次の編集トークンの予測」として定式化する。編集しない領域の再構成を学習目標から外し、指定領域のトークン生成に集中する点が著者らの主張する前進である。
そのために、任意の順序で画像トークンを生成できるRLlamaGenを事前学習し、領域指定付き編集へ追加学習する。同じ仕組みを使い、生成後に一部を選んで修正する反復処理も示した。
従来手法との違い
著者らが対比する従来の領域指定型手法は、変更しない部分を含めて画像全体を生成する。NEPは指定領域のトークンだけを予測し、領域外には元画像のトークンを使うため、生成するトークン数が編集領域に応じて変わる。
MagicBrushテスト集合での平均推論時間はNEPが2.88秒、UltraEditが2.94秒、EditARが10.70秒。一方、GPUメモリ使用量は順に13.25GB、4.04GB、6.59GBで、NEPが最も多かった。
実験結果
著者らは領域ラベル付きのMagicBrushテスト集合で、単発編集と複数回編集を評価した。目標画像との画素差を示すL1は、単発でNEPが0.0547、UltraEditが0.0575、複数回でそれぞれ0.0707、0.0745だった。複数回編集のDINO類似度はNEPが0.8493、UltraEditが0.8505である。
目標画像のないEmu Editテスト集合では、文章と出力画像の類似度CLIPoutがNEPで0.3078、MIGEで0.3067だった。一方、画像と文章の変化方向を比べるCLIPdirはNEPが0.1064、UltraEditが0.1076であり、全指標でNEPが上回る結果ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：商品写真の包装だけ色を変える制作工程を試す。入力は元画像、「包装を青にする」という文章、担当者が包装部分に付けた領域マスクとし、編集後画像を担当者が確認して採否を決める。
必要な元データは対象商品の写真、編集指示、編集前後の画像ペアで、領域ラベルは包装部分のマスクとして整える。画像以外のセンサーは想定しない。業務画像への適応が必要かを確認し、必要なら用意したペアとマスクで追加学習を検討する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象業務の元画像を集め、同じ画像について編集指示、期待する編集後画像、編集領域のマスクを用意する。画像以外のセンサーは使わず、マスクを領域ラベルとして記録する。現行の編集手順を比較対象にし、評価用画像は適応用データと分ける。
まず追加学習なしで両手順に同じ指示を与え、指示の達成率、マスク外の画素差、手直し件数、処理時間、GPUメモリ使用量を測る。業務固有の画像で適応が必要なら、別途用意した編集前後の画像ペアとマスクによる追加学習を検討する。
限界と課題
著者らが明記した制約は、指定領域外の意図しない変更を防ぐ編集には利用者が領域マスクを与える必要があり、その作成に注釈作業または計算が加わることだ。著者らは領域の自動特定を今後の課題としている。
編集上の検証事項は、マスクの境界や半透明部分で元画像がどの程度保たれるか、包装の色変更が指示どおりに見えるかである。評価表ではNEPのGPUメモリ使用量が比較手法より多いため、運用条件での時間とメモリも確かめる。
出典
元のタイトル・要旨を確認する（英語）
NEP: Autoregressive Image Editing via Next Editing Token Prediction
Text-guided image editing involves modifying a source image based on a language instruction and, typically, requires changes to only small local regions. However, existing approaches generate the entire target image rather than selectively regenerate only the intended editing areas. This results in (1) unnecessary computational costs and (2) a bias toward reconstructing non-editing regions, which compromises the quality of the intended edits. To resolve these limitations, we propose to formulate image editing as Next Editing-token Prediction (NEP) based on autoregressive image generation, where only regions that need to be edited are regenerated, thus avoiding unintended modification to the non-editing areas. To enable any-region editing, we propose to pre-train an any-order autoregressive text-to-image (T2I) model. Once trained, it is capable of zero-shot image editing and can be easily adapted to NEP for image editing, which achieves a new state-of-the-art on widely used image editing benchmarks. Moreover, our model naturally supports test-time scaling (TTS) through iteratively refining its generation in a zero-shot manner. The project page is: https://nep-bigai.github.io/
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01