アーカイブ / Generative AI / Computer Vision
参照動画の動きを、文章で指定した別の場面へ移す動画生成手法
MotionShop
MotionShopの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 3 : Method Overview. Framework of our Mixture of Score Guidance (MSG) for zero-shot motion transfer in diffusion models. Left: Reference motion extraction stage captures motion characteristics M ( z ) M(z) from early-timestep conditional scores ∇ z log p ( z ( 1 ) | y ( 1 ) ) \nabla_{z}\log p(z^{(1)}|y^{(1)}) and ∇ z log p ( z ( 2 ) | y ( 2 ) ) \nabla_{z}\log p(z^{(2)}|y^{(2)}) . Middle: Motion transfer combines content and motion scores through our MSG formulation s MSG ( z t , z t ∗ ) = ∇ z log p t ( z | y ) + w MSG ( ∇ z log p t ( z ∗ | y ∗ ) − ∇ z log p t ( z ) ) s_{\text{MSG}}(z_{t},z_{t}^{*})=\nabla_{z}\log p_{t}(z|y)+w_{\text{MSG}}(\nabla_{z}\log p_{t}(z^{*}|y^{*})-\nabla_{z}\log p_{t}(z)) . Right: MSG path redirection mechanism showing attention-guided dynamics that enable stable motion transfer by exploring the correct motion manifold while preserving content through modified Langevin dynamics governed by our mixture of potential energies U MSG ( z t ) = U content ( z t ) + w MSG [ U motion ( z t , z t ∗ ) − U prior ( z t ) ] U_{\text{MSG}}(z_{t})=U_{\text{content}}(z_{t})+w_{\text{MSG}}[U_{\text{motion}}(z_{t},z_{t}^{*})-U_{\text{prior}}(z_{t})] .
概要
- 参照動画の初期段階のスコアを使い、学習済み動画生成モデルを追加学習せずに動きを移す。
- 著者らの100組の比較では、動きの忠実度0.913、時間的一貫性0.928が表中の最高値だった。
- MotionBenchには参照動画200本と変換系列1000件が含まれる。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、MotionShopの仕組み
- 01参照動画と条件文
- 02雑音を加えてスコア推定
- 03目標文のスコアと混合
- 04変換動画
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
MotionShopは、参照動画にある物体やカメラの動きを、文章で指定した別の場面へ移す。たとえば車の走行を飛行機の飛行として表すには、移動の軌道に加えて道路や空などの場面も変える必要がある。
細かな動きは文章だけでは指定しにくい。著者らは、従来手法では場面を十分に変えられない場合や、場面を変えると元の動きが失われる場合があると説明する。複数物体や複雑なカメラ移動も対象となる課題である。
手法
参照動画をモデル内部の表現に変え、雑音を加えて、学習済みモデルから生成初期段階の条件付きスコアを推定する。条件付きスコアは、指定した内容に近づけるため、雑音を含む動画をどちらへ修正するかを示す値である。著者らはこの段階に動きの情報が強く表れると説明する。
MSGは参照動画のスコアと目標文に沿う生成のスコアを組み合わせ、動画生成を誘導する。たとえば車が進む動画と「海辺を飛ぶ飛行機」という目標文から、動きを受け継ぎつつ対象物と場面を変えた動画を作る。実験ではCogVideoXを用い、全50段階の生成のうち初期10％に誘導を適用した。
新規性
著者らが提案するMSGは、動画拡散モデルの条件付きスコアを動きと内容の成分として捉え、参照動画の動きを生成中の動画へ加える手法である。スコアは、雑音を含む動画をどの方向へ修正するかを示す値を指す。
初期段階のスコアに動きの情報が強く表れるという観察を使い、学習済みモデルを追加学習せずに動きを移す。著者らは、単一物体に加え、複数物体やカメラの動きにも適用したと報告する。
従来手法との違い
比較対象はMotionInversion、DMT、VMC、MotionDirectorである。本文では、MotionInversionは参照動画から動きの表現を学習し、VMCは追加学習と逆変換を組み合わせると説明する。MotionShopは生成時に参照動画のスコアを用いる。
著者らの100組の動画と指示文による比較では、MotionShopが動きの忠実度と時間的一貫性で最高値だった。一方、文章との類似度はVMCが高く、FIDはDMTが低い。この順位は掲載された手法と評価条件の範囲に限られる。
実験結果
著者らは100組の動画と指示文を使い、4手法と比較した。MotionShopの動きの忠実度は0.913、時間的一貫性は0.928で、表中の最高値だった。文章との類似度は0.314でVMCの0.328より低く、DAVISを基準にしたFIDは209.06でDMTの196.54より高い。FIDは低いほどよい。
50人が30組の動画について上位2件を選ぶ調査でも、著者らは動きの保持、時間的一貫性、文章との一致で優位と報告する。併せて示すMotionBenchは参照動画200本と変換系列1000件からなり、単一物体、複数物体、カメラ移動を含む。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：広告用の短い映像で、撮影済みの車の走行動画を参照し、飛行機と海辺を指定する文章から編集候補を作る。入力は参照動画、その内容を示す条件文、生成先の目標文で、出力は動きを移した動画とする。
担当者が元の軌道、飛行機と背景の描写、場面の連続性を確認して採否を決める。追加学習用の訓練データと教師ラベルは用意しない想定で、撮影済み素材を使うため新たなセンサーも設けない。対象物が変わるため、目標文の調整と結果の目視確認が必要になる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：編集対象に近い撮影済み動画、その内容を示す条件文、生成先の目標文を少数用意する。追加学習用の訓練データと教師ラベルは用意せず、既存素材を使うため新たなセンサーも設けない。目標文と動き抽出時の雑音の強さを候補ごとに記録する。
比較基準には、同じ目標文で参照動画による誘導を使わない生成結果を置く。各候補の軌道、物体と背景の指示文への一致、場面の連続性を同じ確認表で評価する。採用可能な候補の割合と確認に要する時間を測り、制作工程で使えるか判断する。
限界と課題
著者らの検討例では、動き抽出時に加える雑音の強さが0.6だと動きの移り方が弱く、0.8だと様式化が強くなって動きが崩れ、0.7がよい釣り合いだった。この例だけで、すべての参照動画に同じ設定が適するとは判断できない。
編集上の検証事項は、対象物の形や背景を大きく変えたときの軌道と場面の整合性、制作時の処理時間、採用できない出力の割合である。確認できた本文の範囲では、これらの運用条件を決めるための数値は示されていない。
出典
元のタイトル・要旨を確認する（英語）
MotionShop: Zero-Shot Motion Transfer in Video Diffusion Models with Mixture of Score Guidance
In this work, we propose the first motion transfer approach in diffusion transformer through Mixture of Score Guidance (MSG), a theoretically-grounded framework for motion transfer in diffusion models. Our key theoretical contribution lies in reformulating conditional score to decompose motion score and content score in diffusion models. By formulating motion transfer as a mixture of potential energies, MSG naturally preserves scene composition and enables creative scene transformations while maintaining the integrity of transferred motion patterns. This novel sampling operates directly on pre-trained video diffusion models without additional training or fine-tuning. Through extensive experiments, MSG demonstrates successful handling of diverse scenarios including single object, multiple objects, and cross-object motion transfer as well as complex camera motion transfer. Additionally, we introduce MotionBench, the first motion transfer dataset consisting of 200 source videos and 1000 transferred motions, covering single/multi-object transfers, and complex camera motions.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01