アーカイブ / VLM / Generative AI
画像・動画の位置と時点に沿って生成を導くMetaCanvas
MetaCanvas
MetaCanvasの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Overview of the MetaCanvas framework. MetaCanvas tokenizes the text and encodes it using the MLLM’s text embedder, while user-provided images and videos are encoded using both the MLLM’s visual encoder and the VAE encoder. The text embeddings produced by the MLLM are passed through a lightweight MLP connector and used as conditioning for the DiT. In addition, we append a set of learnable multidimensional canvas tokens to the MLLM input, which are processed using multimodal RoPE ( Bai et al., 2025b ) . The resulting canvas embeddings are then fused with the noisy latents through a lightweight transformer-based connector with two blocks. Connector details are illustrated in Figure 2 . Green tokens represent media context tokens, blue tokens represent text context tokens, and purple tokens represent the canvas tokens.
概要
- MetaCanvasは、画像の位置や動画の時点に対応するキャンバストークンを生成途中の表現へ加える。
- 著者らのImgEdit評価では、FLUX.1-Kontext-DevのOverallが3.52から3.86になった。
- 一部の指標は低下しており、実務では指示への一致と変更不要な領域の保持を別々に測る必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、MetaCanvasの仕組み
- 01文章・参照画像
- 02キャンバストークン
- 03位置別の潜在表現
- 04画像・動画
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
MetaCanvasは、画像や動画の「どこに何を置くか」「いつ変えるか」という指示を生成過程へ渡す手法である。マルチモーダル大規模言語モデルとは、文章に加えて画像や動画も扱う言語モデルを指す。
著者らが扱う問題は、そのモデルが読み取った配置や属性を、生成側では画像全体に共通する条件へまとめがちな点にある。画像などを段階的に生成する拡散モデルへ、場所や時点を区別して情報を渡せれば、細かな指示を反映する経路を作れる。
手法
文章と、必要に応じて参照画像・動画を入力する。学習可能なキャンバストークンを加え、モデルに画像上の位置や動画の代表時点に対応する表現を作らせる。接続部がその表現を変換し、生成途中の圧縮データである潜在表現へ区画ごとに加える。
例えば「左に赤い箱、右に青い箱」という指示なら、キャンバスは各位置に対応する情報を生成側へ渡す。動画では代表時点の表現を間の時点へ補間する。参照画像や動画は、内容理解用の経路と生成用の経路でも符号化する。拡散モデルがこれらを受けて画像・動画を出力する。
新規性
著者らの提案は、マルチモーダル大規模言語モデルが作る条件を、画像全体に共通する情報に加え、位置に対応する潜在キャンバスとして生成モデルへ渡す点にある。動画では代表時点のキャンバスから各時点の表現を補間する。
接続部はキャンバスの情報を生成途中の表現へ区画ごとに加える。接続部の出力を担う線形層をゼロで初期化し、学習開始時に既存の入力を変えない設計も採る。
従来手法との違い
比較の中心は、文章や一次元の問い合わせトークンを、画像全体に共通する条件として渡す方式である。MetaCanvasはそれらに加え、画像の位置や動画の時点に対応するキャンバストークンを使う。探索的な画像生成では、既定のSANA構成などと比較した。
画像編集ではFLUX.1-Kontext-Dev、動画ではWan2.2-5Bを基盤に、キャンバスを加えた構成を評価している。タスクごとに基盤モデルと学習設定が異なるため、各表の差を共通の効果量として扱うことはできない。
実験結果
著者らは三つの拡散モデル基盤で六つのタスクを評価した。探索的な画像生成のGenEvalではMetaCanvasが68.02、既定のSANA構成が64.09。画像編集のImgEditでは、FLUX.1-Kontext-DevのOverallが3.52、追加後が3.86だった。
画像からの動画生成を測るVBench-I2Vでは、Wan2.2-5BのOverallが86.98、追加後が87.13。動画編集では著者らが300件の指示を構成し、GPT-4oによる評価と人手評価も示した。データや学習条件の詳細には付録参照の箇所があり、確認できた本文の範囲では全設定を確認できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：商品カタログ画像の色変更を試す。元画像と「右側の赤い箱を青にし、背景は維持する」という指示から編集画像を作り、担当者が対象の位置、変更後の色、背景の保持を確認する。
適応用には業務の元画像・編集指示・正解編集画像の組が必要になる。検証用には変更対象と保持領域の位置、目標色を人手で記録する。入力は画像と文章で、追加センサーは想定しない。業務上の有効性は未検証である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：同じ商品画像・編集指示・正解編集画像の組を適応用と評価用に分ける。評価用には変更対象の領域、目標色、保持領域のラベルを付ける。必要な入力は画像と文章で、追加センサーは使わない。
同じ入力と適応用データで調整したFLUX.1-Kontext-Devを基準に、MetaCanvas追加版を比べる。対象領域の位置と色が指示に合う件数、保持領域が変わった件数、担当者の修正時間を記録する。論文の指標だけで業務上の改善を判断せず、この用途の画像で確かめる。
限界と課題
著者らの表では、指標が一様に上がるわけではない。ImgEditのExtractは2.15から2.11へ、VBench-I2VのQuality Scoreは78.26から76.76へ下がった。後者のOverallは86.98から87.13へ上がっており、指標を分けて読む必要がある。
編集上の検証事項は、実務画像での位置指定と保持領域への影響である。動画編集用の300件の指示の内訳は、確認できた本文の範囲では追えない。またGEditの表には、7.38から7.68への数値差と記載された増分が一致しない箇所がある。
出典
元のタイトル・要旨を確認する（英語）
Exploring MLLM-Diffusion Information Transfer with MetaCanvas
Multimodal learning has rapidly advanced visual understanding, largely via multimodal large language models (MLLMs) that use powerful LLMs as cognitive cores. In visual generation, however, these powerful core models are typically reduced to global text encoders for diffusion models, leaving most of their reasoning and planning ability unused. This creates a gap: current multimodal LLMs can parse complex layouts, attributes, and knowledge-intensive scenes, yet struggle to generate images or videos with equally precise and structured control. We propose MetaCanvas, a lightweight framework that lets MLLMs reason and plan directly in spatial and spatiotemporal latent spaces and interface tightly with diffusion generators. We empirically implement MetaCanvas on three different diffusion backbones and evaluate it across six tasks, including text-to-image generation, text/image-to-video generation, image/video editing, and in-context video generation, each requiring precise layouts, robust attribute binding, and reasoning-intensive control. MetaCanvas consistently outperforms global-conditioning baselines, suggesting that treating MLLMs as latent-space planners is a promising direction for narrowing the gap between multimodal understanding and generation.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01