アーカイブ / VLM / Generative AI
画像の理解・生成・編集を統合するEMMA：画像特徴の結合で処理単位を削減
EMMA
概要
- EMMAは理解用と生成用の画像表現を32倍の圧縮率にそろえ、対応する特徴を結合する。
- 著者らの表では、MMVetは73.0、指示文の書き換えなしのGenEval総合得点は0.91だった。
- GEdit-Bench-EN総合得点はBAGELの6.52に対し6.53で、被写体の保持は別途確認が必要。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、EMMAの仕組み
- 01元画像と編集指示
- 02二系統で画像を圧縮
- 03対応する特徴を結合
- 04共有層と生成層
- 05編集画像
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
EMMAは、画像について答える、文章から画像を作る、指示に沿って画像を編集するという作業を一つの構成で扱う。画像理解と生成の表現を単純に並べると、モデルが処理する画像の単位が増える。
特に編集では、元画像の内容を参照しながら新しい画像を作る。実務で使うには、指示どおりの変更だけでなく、残すべき被写体や文字の保持も確かめたい。そのため、画像情報の結合方法と編集結果の評価方法が重要になる。
手法
EMMAは、画像理解用のSigLIP2と、生成用のDCAEという自己符号化器を使う。自己符号化器は画像を小さな表現に変える仕組みで、両系統の圧縮率を32倍にそろえる。本文では1024×1024画素の画像が1024個の視覚トークンになる例を示す。視覚トークンはモデルが画像を扱う処理単位で、対応する位置の特徴をチャネル方向、つまり各単位の特徴を並べる方向に結合する。
結合した情報は浅い層を共有し、深い層を理解用と生成用に分けたネットワークで扱う。例えば元画像と背景変更の指示を入力し、元画像の意味と細部を参照して編集画像を出す。文字入力は理解側で処理する。画像理解では、経路選択器が科学・技術・工学・数学の画像かどうかに応じ、専用または汎用の処理器を選ぶ。
新規性
著者らが主張する進歩は、理解用と生成用の画像表現をともに32倍の圧縮率にそろえ、対応する位置の特徴をチャネル方向に結合した点にある。二系統の情報を合わせても、結合によって視覚トークン数は増えない。
浅い層の重みを共有し、深い層をタスク別に分ける構成も採る。さらに画像理解用の符号化器に専門家混合を加え、画像の種類に応じて処理経路を選ぶ。
従来手法との違い
BAGELは理解用と生成用の視覚トークンをトークン方向に連結する。EMMAは同じ位置の特徴をチャネル方向に結合し、著者らの報告では、画像編集で参照画像に使う視覚トークン数をBAGELの5分の1にした。
生成用の画像表現についても、本文が挙げる8倍圧縮の自己符号化器と2×2のトークン統合を使う構成に比べ、必要な視覚トークンは4分の1とされる。これらは処理単位数の比較であり、実行時間や費用の削減率ではない。
実験結果
著者らの比較表では、画像理解のMMVetはEMMA-4Bが73.0、BAGEL-7Bが67.2。文章からの画像生成を測るGenEvalの総合得点は、指示文の書き換えなしで0.91対0.82、書き換えありで0.93対0.88だった。4Bと7Bは使用した言語モデルのパラメータ規模を示す。
画像編集のGEdit-Bench-EN総合得点はEMMAが6.53、BAGELが6.52。画像理解の11データセット平均はEMMAが79.6、専門家混合を外した構成が79.2だった。いずれも著者らの報告値であり、商品写真での正確さや修正時間を測った結果ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：商品写真を入力し、説明文案を作った後、「背景を白にする」という指示で同じ写真を編集する。出力は説明文案と編集画像とし、担当者が商品名、形状、画像内の文字を確認して採否を決める。
業務データへの適応を検討する場合は、使用できる商品画像、正しい説明文、編集前後の画像対、変更指示が必要になる。商品属性と変更箇所のラベルを用意し、追加センサーは使わず、対象商品で指示理解と編集結果を確かめる。効果は未検証の応用仮説である。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：使用できる商品画像、正しい説明文、編集前後の画像対と変更指示を少量そろえる。商品属性と変更箇所のラベルを付け、追加センサーは使わない。利用可能な実装と適用条件を確認したうえで、商品画像への適応が必要かを小規模に判断する。
同じ画像と指示を既存の説明文作成・画像編集の手順にも通して比較する。属性の誤り、指示達成、商品形状と文字の保持、担当者の修正時間を記録する。商品種別ごとに結果を分け、視覚トークン数だけで実務上の効率を判断しない。
限界と課題
著者らは、GEditの視覚言語モデルによる採点では被写体の一貫性を十分に評価できないと指摘する。編集得点の差が小さい理由には、EMMAの編集用データが12MでBAGELの65Mより少ないことと、編集課題の複雑さを挙げるが、原因を切り分けた結果ではない。
編集上の検証事項は、対象画像で商品本体や文字が保たれるか、指示していない領域が変わらないかである。視覚トークン数の削減が実際の処理時間や担当者の修正時間にどう影響するかも、業務環境で別途測る必要がある。
出典
元のタイトル・要旨を確認する（英語）
EMMA: Efficient Multimodal Understanding, Generation, and Editing with a Unified Architecture
We propose EMMA, an efficient and unified architecture for multimodal understanding, generation and editing. Specifically, EMMA primarily consists of 1) An efficient autoencoder with a 32x compression ratio, which significantly reduces the number of tokens required for generation. This also ensures the training balance between understanding and generation tasks by applying the same compression ratio to images. 2) Channel-wise concatenation instead of token-wise concatenation among visual understanding and generation tokens, which further reduces the visual tokens in unified architectures. 3) A shared-and-decoupled network that enables mutual improvements across tasks while meeting the task-specific modeling requirements. 4) A mixture-of-experts mechanism adopted for visual understanding encoder, which substantially improves perceptual capabilities with a few parameters increase. Extensive experiments have shown that EMMA-4B can significantly outperform state-of-the-art unified multimodal approaches (e.g., BAGEL-7B) in both efficiency and performance, while also achieving competitive results compared to recent multimodal understanding and generation experts (e.g., Qwen3-VL and Qwen-Image). We believe that EMMA lays a solid foundation for the future development of unified multimodal architectures.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01