新着研究 / Generative AI
長い動画で再登場する物体の見た目を保つ、過去の記憶を部分合成するMosaiChunk
MosaiChunk
MosaiChunkの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2: Can a frozen backbone reuse a non-contiguous subset of historical KV? To test whether a frozen video generator can consume a non-contiguous subset of KV entries, we select the KV at positions corresponding to the marked cookie region. Only the colored entries are supplied alongside the sliding window. The frozen video generator preserves the cookie’s appearance when the tin opens again.
概要
- 過去の内部記憶を時刻と領域ごとに選び、固定の使用量で合成する。
- 動画生成器を固定し、必要な部分を選ぶ軽量ルーターだけを学習。
- 再訪場面のCLIP類似度中央値がT2Vで0.841から0.936、I2Vで0.807から0.863へ改善。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、MosaiChunkの仕組み
- 01過去区間の内部記憶
- 02関連する領域を選択
- 03記憶をモザイク合成
- 04次の動画区間を生成
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
MosaiChunkは、長い動画で一度見えなくなった物体が戻るとき、以前の細かな見た目を再利用する仕組みである。自己回帰型の動画生成は短い区間を順番に作るが、参照できる文脈には限りがある。古い区間が外れると、物体の特徴を保ちにくくなる。
カメラが別の方向を向いてから戻る場面では、形や模様が前と違うだけで映像の連続性が崩れる。全ての履歴を常に使うと計算が増えるため、限られた枠へ必要な過去の内容を選んで入れることが課題となる。
手法
KVは、モデルの注意機構が過去の内容を参照するために保存するキーと値の表現である。提案は古い区間のKVを空間と時間の部分へ分け、現在の生成に関連する部分を軽量なルーターで順位付けする。使用量に収まる上位部分を取り出し、重み付きでつないだモザイク状の記憶を作る。
動画生成器は最近の区間に加え、この古い記憶を読む。生成器自体は固定し、より豊富な履歴を読む同じモデルの予測へ近づくよう選択側だけを学習する。例えば部屋へ戻る場合、過去の椅子や壁の必要な部分を別々の区間から選べる。区間全体を一つ選ぶ方式より、枠を関連内容に使う狙いである。
新規性
連続した一つの過去区間だけでなく、複数の時刻と位置から元のKVを選んで組み合わせる点が特徴である。固定した生成器がその非連続の記憶を利用できるという観察に基づく。
選択器の学習には、豊富な記憶を読む教師と小さな記憶を読む生徒の予測差を使う。描画済みの正解動画を別途用意せず、同じ生成器の出力を教師にできるため、記憶選択に学習を集中できる。
従来手法との違い
比較は直近だけを見るスライディングウィンドウと、過去区間を丸ごと検索して戻す方式を含む。提案は同じアクティブメモリー量で、関連する部分を細かく合成する。
同じ使用枠でも、区間全体の検索では不要な背景まで含む場合がある。MosaiChunkは細かな部分の選択で再訪内容を増やす狙いがある。ただし使用中の記憶量が固定であることと、過去の保存総量が固定であることは区別する必要がある。
実験結果
著者らは長い生成後の再訪を調べるRememBenchを導入した。文章の指示で進むT2Vと、画像を起点にカメラを動かすI2Vの二つを使い、同じ記憶予算で一貫性を比較する。
過去区間全体の検索に対し、再訪時のCLIP類似度中央値がT2Vで0.841から0.936、I2Vで0.807から0.863へ改善した。I2Vではカメラが180度向きを変えて戻る条件を含む。この類似度は視覚内容の対応を測るが、全画素が同一になることを意味しない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：同じ室内を何度も見せる長い案内映像で、再訪時の家具や装飾の変化を減らす。入力は最初の画像、カメラ操作、生成済み履歴、出力は再訪した場所の外観を保つ次区間とする。
制作者は往復するカメラ経路を使い、以前の物体が同じ特徴で戻るかを確認する。物体を意図的に変化させる演出もあるため、外観の保持と指示に沿う変化の両方を評価する流れを想定する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：短い再訪と長い再訪を含むカメラ経路を作り、直近文脈、区間検索、部分合成を同じ使用量で比較する。再登場物体の類似度、人による同一性判断、生成時間を測る。
履歴の保存量と使用中の記憶量を別々に記録し、長時間生成での負担を見る。模様の細かい物体、複数の似た物体、指示で外観を変える場面も加え、必要な記憶だけを選べているか確認する。
限界と課題
著者らは生成器を固定するため、元のモデルの指示追従能力や生成分布の限界を引き継ぐと述べる。選択器が過去を参照できても、生成器がその内容を完全に再現できるとは限らない。
編集上は、長い履歴からの検索負担や、過去の外観を戻しすぎて意図した変化を妨げる場合を確認したい。再訪の見た目の保持は、視界外で物体の状態が正しく変化したことの保証とは別の評価になる。
出典
元のタイトル・要旨を確認する（英語）
MosaiChunk: Compositing Spatio-Temporal Memory for Autoregressive Video Generation
Long-horizon autoregressive video generation is limited by a finite context window. When an object or scene falls out of context, its fine-grained visual details may be lost and difficult to recover upon reappearance. To retain access to such visual details, we introduce MosaiChunk, a spatio-temporal memory mechanism that composes a mosaic of selected historical key-value (KV) entries across space and time. Our approach is motivated by the observation that a frozen video generator can directly consume such non-contiguous historical KV and recover the corresponding visual content. We therefore keep the generator fixed and learn only a lightweight router that determines which historical sections to include in the mosaic under a fixed active-memory budget. We further introduce RememBench, a benchmark of long-horizon revisits with prompt-driven text-to-video (T2V) and camera-driven image-to-video (I2V) splits. Our experiments show that MosaiChunk consistently improves revisit consistency over both sliding-window inference and whole-chunk retrieval under matched memory budgets, across both T2V and I2V settings.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集：2026-10-05