新着研究 / Generative AI
参照動画から直接学ぶElastic Forcing――動画生成の追加学習で何が変わるか
Elastic Forcing
Elastic Forcingの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Demonstration of Elastic Forcing. Instead of learning the distribution from teacher provided real and fake scores, Elastic Forcing directly learns autoregressive video rollouts from reference samples
概要
- Elastic Forcingは参照動画と生成動画の特徴分布を直接比べ、動画生成器を追加学習する。
- 同じ1.3B構造と初期状態の比較で、VBench総合点はSelf-Forcingの83.80から84.64となり、毎秒17フレームを維持した。
- 参照動画から白黒の外観や広角構図を学ぶ例が示されたが、用途別の画質確認は必要である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Elastic Forcingの仕組み
- 01参照動画と指示文
- 02動画の特徴を比較
- 03生成器を追加学習
- 04続きの動画
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
動画を少ない生成ステップで順につなぐ方式では、先に作った場面を見ながら次の場面を作る。追加学習で生成動画の分布を改善する方法はあるが、従来のSelf-Forcing系では教師となる拡散モデルなどを併用し、学習時の負担が大きい。
また、特定の作風や構図を学ばせたい場合、固定した教師がその特徴を十分に持たない可能性がある。Elastic Forcingは、参照動画の集まりを学習目標として扱う方法を示す。
手法
Elastic Forcingは、参照動画と生成した動画を固定済みの動画特徴モデルに通し、その特徴の分布を近づける。最大平均差異（MMD）は、二組のデータを互いの類似度から比べる指標である。たとえば白黒の参照動画を集めた場合、生成結果の特徴がその集合に近づくよう、順次動画を作る生成器を更新する。
参照側では、全集合を要約するNyström近似と、都度選んだ動画による推定を混ぜる。生成側では多数の動画を使って差を計算し、逆伝播という更新量の計算は一部の動画だけで行う。学習後は、指示文を受けて動画を順に生成する。
新規性
Elastic Forcingは、生成動画を参照動画の集まりに直接近づけることで、追加学習時に拡散モデルの教師と生成側の補助スコアモデルを不要にした。参照動画そのものを目標にできるため、対象の作風ごとに教師モデルを用意する必要がない。
参照動画全体の圧縮した情報と、その都度選ぶ動画を併用し、生成側では多数の動画を比較してから一部だけで勾配を計算する。動画のメモリ負担を抑えながら、分布を比べる材料を増やす設計である。
従来手法との違い
基準となるSelf-Forcingは、生成した動画の続き方を使って追加学習するが、分布を合わせる段階で拡散教師と補助スコアモデルを使う。Elastic Forcingは同じ1.3B規模の構造と初期状態を使い、その学習目標を参照動画との比較に置き換えた。
報告されたVBench総合点はSelf-Forcingの83.80に対し84.64で、生成速度はともに毎秒17フレームだった。差はこの条件での結果であり、動画のあらゆる見た目や指示への忠実さが一様に上がったことを意味しない。
実験結果
著者らは、Self-Forcingと同じ構造・初期状態の1.3Bモデルを、8,000本超の参照動画で追加学習した。VBenchの946件の公式指示文を拡張し、各指示で5本生成して評価した。二種類の特徴モデルを使う構成は総合84.64、画質85.43、意味81.48で、毎秒17フレームだった。
Self-Forcingの総合は83.80である。著者らは参照推定を一方式だけにすると、Nyströmで84.59、標本抽出で84.06になったとも報告する。14Bモデルの追加学習は8基のH200で約23.2時間と報告された。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：短い紹介動画を連続して作る制作チームが、既存作品に近い画面構成を試す。入力は利用を認められた参照動画群と制作したい場面の指示文、出力は指示に沿って続いていく候補動画である。
チームは参照動画を学習用にまとめ、生成後に画面構成、時間方向のつながり、指示との一致を人が確認する。論文では白黒の外観や広角の構図を参照動画から学ぶ例が示されたが、特定の制作案件で同じ再現性が出るかは別途測る。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：一つの短い動画用途を選び、参照動画の範囲と評価用の指示文を先に固定する。既存の生成手順を基準に、同じ指示文から複数本ずつ出し、参照動画を使った追加学習後の出力と比較する。
VBenchのような自動点数だけでなく、指定した被写体数、構図、場面間のつながりを人が採点する。生成速度と追加学習の時間・資源も記録し、狙った表現の改善が運用負担に見合うかを判断する。
限界と課題
著者らは、動画の見え方を一つの評価尺度だけで捉えにくいことを示している。三種類の特徴を使う構成は、二種類の場合よりVBench総合点が低い一方、別の視覚言語モデルによる順位評価では高かった。評価方法によって選好が分かれる。
編集上の確認事項は、参照動画と制作指示の対応、長い動画での一貫性、追加学習に要する資源、出力確認の負担である。14Bの実験は8基のH200で行われた報告であり、小規模な環境でも同じ条件を再現できるとは示されていない。
出典
元のタイトル・要旨を確認する（英語）
From Scores to Samples: Elastic Forcing for Autoregressive Video Generation
Few-step autoregressive video generation commonly relies on Distribution Matching Distillation (DMD), requiring a bidirectional diffusion teacher and an online fake-score model. We instead learn the rollout distribution directly from reference videos, eliminating both score models during post-training. Our framework minimizes maximum mean discrepancy (MMD) in frozen self-supervised video representation spaces, using a hybrid Nyström--Monte Carlo estimator to balance approximation bias and sampling variance. Memory-efficient replay and gradient subsampling make this objective practical. Using the same architecture and initialization as Self-Forcing, our 1.3B model improves the VBench Total score from 83.80 to 84.64 while retaining 17 FPS. Removing auxiliary score models also enables 14B post-training on eight H200 GPUs. Beyond distillation, learning from reference videos enables the acquisition of new visual styles, semantic concepts, and spatial priors without a target-specific diffusion teacher.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集：2026-09-30