アーカイブ / Computer Vision / Generative AI
画像と指示の食い違いを判定し、編集領域を指定するCAMILA
CAMILA
CAMILAの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Three scenarios demonstrate how our method handles context-aware multi-instruction editing across various combinations of feasible and infeasible prompts. By leveraging [MASK] and [NEG] specialized tokens, it accurately identifies executable instructions.
概要
- 画像と指示を一緒に解釈し、編集する対象と変更しない対象を［MASK］と［NEG］で区別する。
- 著者らは、適用不能な指示を含む複数指示の評価データを作成した。
- 著者らの適用不能な指示を含む課題では、FoIと比べてL1が低く、CLIP-Iが高かった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、CAMILAの仕組み
- 01元画像と複数の指示
- 02適用可否を判定
- 03指示とマスクを対応
- 04拡散モデルで編集
- 05編集画像
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
CAMILAは、文章の指示に従って画像を編集する際、画像に合う変更だけを指定領域に適用する手法である。写っていない物体を消すような実行不能な指示まで処理すると、意図しない変更や不自然な画像につながり得る。
複数の指示をまとめて扱うときは、各指示が画像内のどこに対応し、そもそも適用できるかを判断する必要がある。著者らは、この判断を編集位置の指定と一体で行う。
手法
CAMILAは元画像と文章の指示を、画像と文章を一緒に扱うマルチモーダル大規模言語モデルに入力する。モデルは編集対象に［MASK］、変更しない対象に［NEG］を割り当てる。マスクとは、画像内の編集領域を示す指定である。
Token Broadcasterは、この判定結果と拡散モデルが読む文章の表現を対応付ける。Token Decoderは［MASK］から編集領域を表す二値のマスクを作り、［NEG］には編集しないことを示す黒いマスクを割り当てる。拡散モデルはマスクに応じて文章への注意の向け方を変え、画像を出力する。例えば写っていない椅子を消す指示は、適用しない側に振り分ける想定だ。
新規性
CAMILAの提案点は、元画像と複数の指示を一緒に解釈し、適用する編集と適用しない編集を［MASK］と［NEG］で区別する仕組みである。指示が画像の内容に照らして実行できるかを、編集領域の指定に結び付ける。
さらに、判定結果と拡散モデルが読む文章をToken Broadcasterで対応付ける。著者らは、適用不能な指示を含む複数指示の評価課題とデータも作成した。
従来手法との違い
著者らの比較対象にはIP2P、MGIE、SmartEdit、FoIなどがある。FoIは指示から語句を取り出し、注意マップを使って編集位置を決める。注意マップとは、モデルが画像のどこに文章を対応付けるかを示す情報で、著者らは位置がずれる例を報告している。
CAMILAは画像と指示から編集の可否を判定し、適用しない指示には［NEG］を割り当てる。表に示された差は、著者らが構成した複数指示の評価条件についての比較である。
実験結果
著者らは単一指示にMagicBrushとEMUを使い、MagicBrushの複数ターンの指示を連結して複数指示データを作った。適用不能な指示を含む課題では、ChatGPT-4Vで生成した指示を加えた。表1は画素差のL1・L2と、CLIP-I、DINO、CLIP-Tの各指標を示す。
表1の適用不能な指示を含む課題では、CAMILAとFoIのL1は順に0.0661と0.0891、CLIP-Iは0.9296と0.8895だった。適用可能な指示だけの複数指示課題では、L1は0.0945と0.1054だった。いずれも著者らの評価条件での値で、業務写真で同じ差が出ることは示していない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：商品写真の修正依頼を想定する。入力はマグカップの写真と「マグを青くし、写っていない椅子を消す」という指示で、出力は実行可能な編集だけを反映した候補画像とする。
試すには、対象業務の元画像、指示、目標画像、指示ごとの実行可否ラベル、編集領域の正解マスクを集める。新たなセンサーは想定せず、写真と依頼文の表現に合わせて調整したうえで、担当者が候補を確認する。これは業務での効果を示す実験結果ではない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：同じ商品写真と依頼文でCAMILAとFoIを比較する。元画像、指示、目標画像、指示ごとの実行可否ラベル、正解の編集領域マスクを用意し、写真と依頼文の表現に合わせて調整する。追加のセンサーは想定しない。
まず適用可能な指示だけの組と、適用不能な指示を混ぜた組を分けて試す。L1、領域外の変化、適用不能な指示を退けた割合を記録し、担当者が印字や質感の保持も確認する。必要なデータ量や調整方法の詳細は、対象業務のデータで確かめる。
限界と課題
著者らは、生成画像が目標画像の説明とずれる場合があると報告している。その対処として、画像と文章の類似度を表すCLIP-Tを推定する補助モジュールを学習し、マスクの改善に利用した。ずれが解消した範囲は、この記述だけでは特定できない。
編集上の検証事項は、商品ごとの質感や印字が保たれるか、存在しない物体への指示を安定して退けられるかである。確認できた本文の範囲では、データ作成の詳細と一部の評価指標の説明は付録参照であり、実業務での失敗率は判断できない。
出典
元のタイトル・要旨を確認する（英語）
CAMILA: Context-Aware Masking for Image Editing with Language Alignment
Text-guided image editing has been allowing users to transform and synthesize images through natural language instructions, offering considerable flexibility. However, most existing image editing models naively attempt to follow all user instructions, even if those instructions are inherently infeasible or contradictory, often resulting in nonsensical output. To address these challenges, we propose a context-aware method for image editing named as CAMILA (Context-Aware Masking for Image Editing with Language Alignment). CAMILA is designed to validate the contextual coherence between instructions and the image, ensuring that only relevant edits are applied to the designated regions while ignoring non-executable instructions. For comprehensive evaluation of this new method, we constructed datasets for both single- and multi-instruction image editing, incorporating the presence of infeasible requests. Our method achieves better performance and higher semantic alignment than state-of-the-art models, demonstrating its effectiveness in handling complex instruction challenges while preserving image integrity.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01