新着研究 / Computer Vision
カメラを動かしても被写体が動く動画へ――場面ごとのトークンを学習するDynaTokens
DynaTokens
DynaTokensの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : DynaTokens enables camera-controlled video models to learn dynamics via test-time training. (a) DynaTokens introduces learnable tokens that are cross-attended by the video patch tokens in every transformer block. (b) For each scene, we train DynaTokens on a small set of camera trajectories ( ≈ \approx 15), enabling inference on novel, unseen trajectories. (c) Visualization of the attention weights for a dynamic token, corroborating the localized dynamics hypothesis.
概要
- 場面ごとの追加トークンを少数の見本軌跡から学び、基盤モデルの重みは固定する。
- 著者らの評価では、動きに関する指標が既存モデルや複数の適応手法を上回り、カメラ制御指標はおおむね維持された。
- 導入時は未知のカメラ軌跡で、動作と視点制御を別々に検証する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、DynaTokensの仕組み
- 01場面の見本動画と軌跡
- 02動き用トークンを学習
- 03新しいカメラ軌跡を指定
- 04動く場面の動画
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
カメラ制御動画モデルでは、視点を動かすと画面内の物体も見かけ上移動する。さらに犬が走るような場面では、物体自体の動きも同時に表す必要がある。この二つが混ざると、対象が静止したり、誤った方向へ動いたりする。
ゲームや没入型の映像では、利用者が視点を選んでも場面が自然に進むことが重要だ。著者らは、既存モデルのカメラ制御を生かしながら、個別の場面の動きを教える方法を検討した。
手法
事前学習済みのカメラ制御動画モデルに、場面専用の小さな情報単位「トークン」を加える。映像を区切った領域は、クロスアテンションという参照機構を通じて各トークンを読み、必要な領域の表現を変える。基盤モデルの重みは固定し、見本動画の軌跡からトークンだけを学習する。実験では各ブロックに16個、各64次元のトークンを置いた。
例えば「犬が机の左から前へ走る」場面なら、数本の見本とカメラ移動を入力して犬の動きを学ぶ。その後、見本にないカメラ軌跡を与え、視点移動と犬の走行を含む動画を生成する。著者らの分析では、参照の強さが動く犬の領域を追った。
新規性
カメラ移動は画面全体に及び、物体の動きは局所に現れるという違いを、追加トークンへの注意機構で表した点が新しい。基盤モデルを固定し、場面ごとの少数の軌跡から動きを学ぶ設計である。
著者らは、映像内の領域が追加トークンを参照する強さを分析し、動く犬の位置に注意が集まる例を示した。局所的な動きの学習とカメラ制御の両立を狙った構造上の工夫である。
従来手法との違い
比較対象は、既存のカメラ制御動画モデルと、同じ基盤モデルを場面に適応させるLoRA、最終ブロックの微調整、TTT層など。LoRAは既存の重みを少数の追加行列で更新する方法である。
追加トークンだけを学ぶDynaTokensは、基盤モデルのカメラ制御を担う重みを固定する。適応手法の比較では、同じ学習軌跡を使い、既知と未知のカメラ軌跡を各3本評価している。
実験結果
著者らはVBench2の動的位置関係と動作順序、WorldScoreの動きの正確さとカメラ制御を評価した。前者は20件の指示文に各6軌跡で120本、後者は15場面に各6軌跡で90本を用いた。移動カメラに合わせ、元の評価方法を一部調整している。
既存モデル比較でDynaTokensは、VBench2の動的位置関係0.96、動作順序0.69、カメラ0.87、WorldScoreの動き5.33、カメラ0.69だった。WorldPlayは順に0.56、0.07、0.88、1.95、0.69。数値は著者らの設定での結果であり、全場面への適用を示すものではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：展示施設のデジタル空間で、来場者が視点を変えながら動く展示物を見る短い映像を作る。入力は展示場面の画像、動作を記した文章、少数の見本動画とそのカメラ軌跡とする。
制作担当者が場面ごとに追加トークンを学習し、新たな視点移動を指定して動画を出力する。完成動画では、展示物の動く順序と位置関係を人が確認し、視点移動で対象が画面外に出る場面も区別して記録する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：一つの動的場面を選び、見本動画と対応するカメラ軌跡を少数そろえる。同じ場面と同じ学習素材で、追加トークンを使う条件と基盤モデルのみの条件を作る。
見本に含む軌跡と含まない軌跡を分け、動作の順序、対象の位置関係、指定した視点移動、映像の崩れを同じ基準で採点する。対象が画面外に出た区間は別扱いにし、動きの改善とカメラ制御の変化を個別に確認する。
限界と課題
著者らは、見本動画が短く、背景の乱れや動きの途切れを含んでも学習できると報告する。一方、物理現象と画風変化について示されるのは定性的な例で、カメラを動かした条件での定量評価は示されていない。
編集上の確認点は、対象場面と異なる動作への適用範囲、見本の選び方、長い動画での一貫性である。注意の集中は仕組みを考える材料になるが、生成した動きが現実に正しいことまで保証しない。
出典
元のタイトル・要旨を確認する（英語）
DynaTokens: Teaching Dynamics to Camera-Controlled Video Models at Test Time
Video generation must account for two sources of motion, one induced by the observer's camera path and the other caused by scene dynamics. An ideal camera-controlled video model should account for both motions: let users move the camera while evolving the scene dynamics. While current models handle camera-induced motion well in static settings, they struggle for dynamic scenes: objects are static, move incorrectly, or degrade in generation quality. We introduce DynaTokens, a lightweight set of learnable scene-specific tokens that teach dynamics to an existing camera-controlled world model. Our method is motivated by a simple asymmetry between the two sources of motion: whereas camera motion affects the generated view globally, object dynamics are spatially localized. Through cross-attention, DynaTokens trains the learnable tokens from a few example trajectories for a scene while keeping the base model frozen, and enables dynamics under new query camera paths. DynaTokens achieves a better simultaneous dynamics-camera tradeoff on VBench2 and WorldScore evaluations than LoRA, block finetuning, and specialized trainable-layer baselines. Analyses of token attention, ablations, and motion temporality suggest that matching the trainable interface to the structure of the learning target is important for effective adaptation. Project website: https://glab-caltech.github.io/dynatokens/
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29