アーカイブ / Computer Vision / Generative AI
複数の編集指示を画像内の領域に結び付ける注意機構
Instance-Disentangled Attention
Instance-Disentangled Attentionの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 4 : Qualitative results on Crello Edit , InfoEdit and LoMOE-Bench . The leftmost column is the source image, the second one is the source image with overlayed bounding boxes indicating areas in which to perform editing operations, and the other columns contain qualitative results on that same sample. For readability, we list the prompts for these samples in Appendix G .
概要
- 領域ごとの指示を別々に符号化し、注意機構の参照範囲を制御して複数箇所を編集する。
- 著者らは自然画像のLoMOE-Benchに加え、図版の文字編集用にCrello EditとInfoEditを用いた。
- LoMOE-Benchの層配置分析では、前後を全体調和用、中間を領域分離用にした設定の背景LPIPSが0.091、Attempt Rateが92.19％だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Instance-Disentangled Attentionの仕組み
- 01元画像・枠・指示
- 02指示を別々に符号化
- 03注意範囲を制御
- 04編集画像
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
一枚の画像で複数箇所を別々の指示で変えると、ある箇所の指示が別の箇所に及ぶことがある。文字が密集した図版では、文言の取り違えや枠外の変更が画像の意味を変えかねない。
対象は、雑音から完成画像へ変化する方向を学ぶ「フローマッチング」型の編集モデルである。著者らは、画像全体を共通に扱う処理と、画像と文章を一緒に参照する仕組みに、指示が混ざる原因を見いだした。
手法
入力は元画像と編集領域の枠、各枠に対応する文章指示である。例えば図版の「Hello」を「Bonjour」に変えるなら、文字を囲む枠と置換指示を組にする。指示はそれぞれ別々に符号化し、モデルが扱う数値の列に変えてから連結する。
「注意機構」は、画像や文章の各部分が、ほかのどの部分を参照するかを決める処理である。提案法はその参照先をマスクで制限し、中間層では領域ごとの指示を分離し、前後の層では画像全体のつながりを考慮する。この制御を生成中の各段階に適用し、複数の置換を反映した画像を得る。
新規性
著者らの提案は、画像と文章を一緒に処理する注意機構にマスクを加え、領域ごとの指示が別の領域に及ぶ経路を制限する点にある。マスクは画像を生成する各段階で適用する。
前後の層では画像全体のつながりを保つ設定、中間層では領域を分離する設定を使う。指示文も領域ごとに別々に符号化し、得られた表現を連結して、一度の生成処理で複数箇所の編集を扱う。
従来手法との違い
比較対象には、FLUX.1 Kontextへ全指示を一度に与える方法と、指示を一つずつ与える方法がある。著者らの方法は、同モデルの生成時に注意機構の参照範囲を制御する。
自然画像ではLoMOEやLayerEditも比較対象に含まれる。確認できた本文の範囲では、これらの手法と提案法の総合結果を並べた表や処理時間の数値はなく、品質や速度の優劣は数値で判断できない。
実験結果
著者らは自然画像のLoMOE-Benchと、文字を含む図版のCrello Edit、InfoEditを評価に用いた。LoMOE-Benchは80画像に各2～7指示を付ける。Crello Editは学習用1512例とテスト用4367例、InfoEditは4960例で、後者の指示数は画像ごとに1～285件である。
LoMOE-Benchでの層配置分析では、前後の層を全体調和用、中間層を領域分離用にした設定の背景LPIPSは0.091、Attempt Rateは92.19％だった。全層を全体調和用にした設定は順に0.103、80.21％である。背景LPIPSは編集対象外の見た目の差、Attempt Rateは編集を試みた領域の割合を表す。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：多言語版の案内図を作る際、英語の元画像、文字領域を示す枠、各枠の元文と翻訳文を入力し、文字を置き換えた画像を出力する。枠は制作データから得るか、文字検出の結果を担当者が確認する。
生成後は各枠の文字を読み取り、翻訳文との一致と枠外の変化を確認する。推論に追加の学習画像やセンサーは要らない想定だが、枠と翻訳文の準備は必要であり、この用途での品質は未検証である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：少数の元画像について文字枠、元文、翻訳文を用意し、人が位置と訳を確認する。推論時の入力に画像対やセンサーは不要だが、追加学習を試すなら編集前後の画像対と枠の注釈を集め、対象の図版に合わせて適応させる。
同じ画像と指示を全指示一括入力のFLUX.1 Kontextにも与え、基準とする。各枠の文字誤り率、編集を試みた枠の割合、枠外の画素差を測り、担当者が読みやすさと意図しない変更を確認する。改善の有無はこの対象画像群で判断する。
限界と課題
著者らは、既存の画像編集モデルでは複数の指示が混ざり得ること、小さな領域や短い指示が十分に使われない可能性を述べる。そのため、文字領域の編集向けに画像対を使う追加学習も検討している。
編集上の検証事項は、重なる枠や長い訳文での文字の読みやすさ、背景の保持、処理時間である。確認できた本文の範囲では比較手法ごとの総合結果や時間の表がないため、実務での改善幅は判断できない。
出典
元のタイトル・要旨を確認する（英語）
Shifting the Breaking Point of Flow Matching for Multi-Instance Editing
Flow matching models have recently emerged as an efficient alternative to diffusion, especially for text-guided image generation and editing, offering faster inference through continuous-time dynamics. However, existing flow-based editors predominantly support global or single-instruction edits and struggle with multi-instance scenarios, where multiple parts of a reference input must be edited independently without semantic interference. We identify this limitation as a consequence of globally conditioned velocity fields and joint attention mechanisms, which entangle concurrent edits. To address this issue, we introduce Instance-Disentangled Attention, a mechanism that partitions joint attention operations, enforcing binding between instance-specific textual instructions and spatial regions during velocity field estimation. We evaluate our approach on both natural image editing and a newly introduced benchmark of text-dense infographics with region-level editing instructions. Experimental results demonstrate that our approach promotes edit disentanglement and locality while preserving global output coherence, enabling single-pass, instance-level editing.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01