アーカイブ / Generative AI
初期画像と操作信号から動画を逐次生成するAAPT
Autoregressive Adversarial Post-Training
Autoregressive Adversarial Post-Trainingの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Generator (left) is a block causal transformer. The initial frame 0 is provided by the user at the first autoregressive step, along with text, condition, and noise as inputs to the model to generate the next frame in a single forward pass. Then, the generated frame is recycled as input, along with new conditions and noise, to recursively generate further frames. KV cache is used to avoid recomputation of past tokens. A sliding window is used to ensure constant speed and memory for the generation of arbitrary lengths. Discriminator (right) uses the same block causal architecture. Condition inputs are shifted to align with the frame inputs. Since it is initialized from the diffusion weights, we replace the noise channels with frame inputs following APT.
概要
- AAPTは初期画像と操作条件から次の潜在フレームを１回のモデル計算で生成し、過去の計算結果を再利用する。
- 著者らはH100１基、736×416で24.8fps、遅延0.16秒を報告した。VBench-I2Vでは120フレームと1440フレームを評価している。
- 長時間生成向けの学習では生成動画を短い区間に分けて評価する。著者らは品質の改善と、学習時間の増加を報告している。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Autoregressive Adversarial Post-Trainingの仕組み
- 01初期画像と操作条件
- 02潜在表現に圧縮
- 03履歴を再利用
- 04次フレームを生成
- 05動画を順次出力
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
AAPTは、最初の画像を受け取り、利用者の操作条件に応じて後続の映像を連続生成する手法だ。対話型の動画には、映像を作る速さだけでなく、操作が反映されるまでの短い待ち時間と、長く続けても内容が崩れにくいことが求められる。
元となる拡散モデルは、雑音を段階的に取り除いて映像を作るため計算量が大きい。従来の逐次生成では、過去の映像を繰り返し計算したり、生成誤差が次の映像へ引き継がれたりすることが課題となる。
手法
事前学習済みの動画拡散モデルを、現在と過去のフレームを参照する構成に変える。映像は圧縮された内部表現である「潜在フレーム」で扱う。最初は利用者の画像を入力し、その後は直前に生成したフレーム、新しい操作条件、雑音を使って次の潜在フレームを１回の計算で作る。KVキャッシュは過去の計算結果を保存し、再計算を減らす仕組みだ。
学習は構成変更への適応、１回の計算で出力するための蒸留、生成物と実動画を見分ける敵対的学習の順に進む。最後の段階では生成結果を次の入力に戻し、長い生成動画を短い区間に分けて評価する。姿勢条件付きなら、初期の人物画像と時点ごとの姿勢信号から、動作を引き継いだ映像を順次出す。
新規性
著者らの主張する進歩は、事前学習済みの動画拡散モデルを、次の潜在フレームを１回のモデル計算で出す逐次生成器に変えた点にある。過去の計算結果を保存するKVキャッシュも利用し、各回の再計算を減らす。
さらに、敵対的学習の段階では、モデル自身が作ったフレームを次の入力に使う。長い生成動画を短い区間に分けて実動画と照合できるため、長時間生成での誤りの蓄積を抑える設計となっている。
従来手法との違い
比較対象のCausVidは、４回の計算で16フレームずつ生成する。AAPTは１回の計算で潜在フレームを１枚ずつ生成し、１枚が通常の動画４フレームに相当する。著者らによれば、１段階に短縮した拡散型の逐次生成でも各回２枚分の計算が必要だが、AAPTでは１枚分で済む。
速度表のCausVidとAAPTは、モデル規模と解像度が異なる。報告値は各手法の測定条件を付けて読む必要がある。また、著者ら自身の拡散モデルとの品質比較でも、120フレームと1440フレームでは指標の動きが異なる。
実験結果
著者らはVBench-I2Vで初期画像からの120フレームと1440フレーム生成を評価した。時間的品質は、1440フレームでAAPTが89.79、自身の拡散モデルが86.65。一方、120フレームではAAPTが89.51、同拡散モデルが90.40で、AAPTの値が低い。
速度表では、AAPTの80億パラメータモデルがH100１基、736×416で24.8fps、遅延0.16秒と報告される。CausVidは50億パラメータ、H100１基、640×352で9.4fps、遅延1.30秒だ。姿勢条件付き人物動画とカメラ条件付き世界探索も評価したが、用途を変えた場合の性能を示す値ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：研修教材で、仮想人物に指定した動作を続けさせる試作を行う。人物の初期画像と、事前に用意した姿勢信号の系列を入力し、指定に沿う連続動画を出力する。操作時には次に使う姿勢信号を切り替え、映像に反映されるまでを記録する。
適応には、対象に近い人物動画と、各フレームから抽出した姿勢情報を条件ラベルとして用いる学習データが必要だ。元動画から姿勢を抽出・符号化し、姿勢条件付きの別モデルを学習する。追加センサーを使う案なら、その入力方法と必要なデータを別途確かめる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象の動作を含む人物動画、初期画像、動画から抽出したフレームごとの姿勢ラベルを用意する。姿勢の抽出・符号化を行い、姿勢条件付きのモデルを追加学習する。操作には用意した姿勢系列を使い、追加センサーは必要としない範囲で試す。
比較基準には、同じ初期画像と姿勢系列を使う既存の動画生成手順を置く。出力速度、操作反映までの遅延、長時間生成での姿勢のずれと人物の一貫性を同条件で確認する。学習動画の必要量と姿勢抽出の誤りも記録し、教材への適用を判断する。
限界と課題
著者らは、長い単一ショットの動画が学習データに少なく、短い動画だけで学習すると長時間生成で誤りが蓄積すると述べる。生成動画を区切って学習する方法は長時間生成の品質を改善した一方、学習時間が増えるとも明記している。
編集上の検証事項は、姿勢を大きく変えた後も人物が保たれるか、操作から映像への反映が教材の用途に足りるかである。確認できた本文の範囲では、学習データ量や詳細な実装条件は補足資料に委ねられており、用途別の必要量は判断できない。
出典
元のタイトル・要旨を確認する（英語）
Autoregressive Adversarial Post-Training for Real-Time Interactive Video Generation
Existing large-scale video generation models are computationally intensive, preventing adoption in real-time and interactive applications. In this work, we propose autoregressive adversarial post-training (AAPT) to transform a pre-trained latent video diffusion model into a real-time, interactive video generator. Our model autoregressively generates a latent frame at a time using a single neural function evaluation (1NFE). The model can stream the result to the user in real time and receive interactive responses as controls to generate the next latent frame. Unlike existing approaches, our method explores adversarial training as an effective paradigm for autoregressive generation. This not only allows us to design an architecture that is more efficient for one-step generation while fully utilizing the KV cache, but also enables training the model in a student-forcing manner that proves to be effective in reducing error accumulation during long video generation. Our experiments demonstrate that our 8B model achieves real-time, 24fps, streaming video generation at 736x416 resolution on a single H100, or 1280x720 on 8xH100 up to a minute long (1440 frames). Visit our research website at https://seaweed-apt.com/2
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01