アーカイブ / Generative AI / Computer Vision
動きと視点を別々に更新し、動画格子を生成する4Real-Video
4Real-Video
4Real-Videoの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2 : Overview of 4Real-Video. Left: we initialize the grid of frames with a (generated or real) fixed-viewpoint video in the first row and a freeze-time video in the first column. Middle: our architecture consists of two parallel token streams. The top part processes 𝐱 l v \mathbf{x}_{l}^{\text{v}} with viewpoint updates and the bottom part processes 𝐱 l t \mathbf{x}_{l}^{\text{t}} with temporal updates. Subsequently, a synchronization layer computes the new tokens 𝐱 l + 1 v \mathbf{x}_{l+1}^{\text{v}} 𝐱 l + 1 t \mathbf{x}_{l+1}^{\text{t}} for the next layer in the diffusion transformer architecture. Right: we propose two implementations of the synchronization layer: hard and soft synchronization.
概要
- 固定視点の動作動画と静止時刻の視点移動動画を条件に、時刻と視点の動画格子を生成する。
- 時間方向と視点方向を並行して更新し、各層の同期層で情報を交換する。
- 著者らの生成動画200組による評価では、ソフト同期のFIDと時間方向のFVDは逐次方式より低かった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、4Real-Videoの仕組み
- 01動作・視点移動動画
- 02時間と視点を並行更新
- 03層ごとに情報交換
- 04時刻・視点の動画格子
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
4Real-Videoは、同じ場面を異なる時刻と視点から見られる動画格子を生成する。格子内で物体の形や動きが食い違うと、視点や時刻を切り替えたときに映像が不自然につながる。時間方向と視点方向の両方で整合を取る必要がある。
時刻と視点を網羅した学習用動画は限られる。著者らは既存の動画生成モデルを利用し、少量の動く物体の多視点データを加えて、入力のない時刻と視点の組を埋める方法を検討した。
手法
入力は、視点を固定して動きを撮った動画と、時刻を止めて視点を動かした動画である。たとえば動く展示物の正面動画と、ある瞬間を別の角度から見た動画を与え、入力にない時刻と視点の組の画像を生成する。格子は各時刻の各視点に対応する画像の集まりである。
モデルは画像の情報を二つの流れに分け、時間方向と視点方向を並行して更新する。拡散Transformerは、画像の小さな情報単位を層ごとに更新する生成モデルの部品であり、その各層の後で同期層が両者の情報を交換する。学習では、画像の二次元変換でカメラ移動を模した動画を使った後、動くObjaverse素材から描画した約1万5000件の多視点動画で同期層を追加学習する。
新規性
著者らの主張する新規性は、時刻と視点の両方を含む格子を二つの情報の流れに分け、既存の動画モデルの層で並行して更新する構成にある。各層の後に置く同期層が、二つの流れの情報を交換する。
同期には、二つを統合するハード方式と、別々に保ちながら交換量を学ぶソフト方式を提案する。追加学習では同期層の重みだけを調整し、既存の動画生成能力を生かす設計としている。
従来手法との違い
著者らは、視点方向の更新結果を時間方向の更新へ順に渡す逐次方式と比較した。提案方式では両方向を並行して更新し、各層の同期で結び付ける。比較にはカメラ制御動画モデルMotionCtrlと、動く3D物体向けのSV4Dも含まれる。
MotionCtrlには入力動画の各時刻から静止時刻の視点移動動画を作らせ、SV4Dも比較対象として実行した。スコア蒸留を使う手法との比較は、入手できた動画の数と生成条件が異なるため、著者らは同一条件の指標比較ではなく利用者評価を行った。
実験結果
著者らはSnap Video Modelで生成した、各2秒・16フレームの入力動画200組を評価に使った。表の逐次方式とソフト同期の比較では、FIDが96.64対78.36、CLIPが28.16対28.22、時間方向のFVDが1662.54対906.16だった。FVDは動画の分布の差、CLIPは画像と入力文の近さを測る指標である。
著者らは8×8の格子を288×512画素で約1分で生成したと記す。視点間の整合は、画像の対応点を調べるGIMと三次元再構成の確信度を使うDust3Rでも評価した。これらは示された生成動画と設定での結果であり、実撮影動画での性能を表す数値ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：展示物の動きを固定視点で撮った動画と、動きを止めて視点を変えた動画を入力し、来場者が時刻と視点を選べる紹介映像を試作する。出力する動画格子から、形の崩れが少ない範囲を人が選んで掲載する。
この試作では対象の二種類の入力動画を用意し、両動画の共通する場面を確認する。既存モデルを使う段階では追加の学習データ、教師ラベル、センサーを前提にしない。対象に合わせて追加学習するなら、二次元変換動画と動く物体の多視点動画を別途確保する必要がある。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：同じ展示物について固定視点の動作動画と、静止した場面の視点移動動画を数組撮り、格子を生成する。入力動画をそのまま見せる方法を基準に、選べる時刻・視点の数と、輪郭や動きが破綻した画像の割合を記録する。
最初は追加学習用データ、教師ラベル、追加センサーを用意せず、二種類の入力が同じ場面を示すか人が確認する。追加学習を試す場合は、二次元変換動画と動く物体の多視点動画を集めて同期層を調整し、調整前後を同じ入力と判定基準で比べる。生成時間も併記する。
限界と課題
著者らは、ハード同期では入力から視点が大きく離れると物体の伸びや、時刻を止めたはずの場面で意図しない動きが生じやすいと報告する。また、二次元変換動画だけの学習では前景が平面的になり、Objaverseで長く追加学習すると実写場面の品質がやや下がったという。
編集上の検証事項は、実撮影した対象や大きな遮蔽でも同じ品質が得られるかである。数値評価の入力は生成動画の組なので、展示物での結果は推定できない。なお、本文では格子の「行」と「列」に割り当てる軸の説明が箇所により食い違うため、本記事では行列の向きを断定しない。
出典
元のタイトル・要旨を確認する（英語）
4Real-Video: Learning Generalizable Photo-Realistic 4D Video Diffusion
We propose 4Real-Video, a novel framework for generating 4D videos, organized as a grid of video frames with both time and viewpoint axes. In this grid, each row contains frames sharing the same timestep, while each column contains frames from the same viewpoint. We propose a novel two-stream architecture. One stream performs viewpoint updates on columns, and the other stream performs temporal updates on rows. After each diffusion transformer layer, a synchronization layer exchanges information between the two token streams. We propose two implementations of the synchronization layer, using either hard or soft synchronization. This feedforward architecture improves upon previous work in three ways: higher inference speed, enhanced visual quality (measured by FVD, CLIP, and VideoScore), and improved temporal and viewpoint consistency (measured by VideoScore and Dust3R-Confidence).
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01