アーカイブ / Generative AI / Computer Vision
生成動画の点の位置ずれを測り、学習と候補選択に使うVIGOR
VIGOR
VIGORの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Examples of geometry artifacts in generated videos and our results.
概要
- VIGORは、フレームをまたぐ点の再投影位置と追跡位置の差で、生成動画の幾何学的な整合性を評価する。
- 著者らは2,560件の文章指示から25,600本の動画を生成し、選好データの作成、追加学習、生成時の探索にこの評価を用いた。
- 双方向CausVidの10候補選択では、著者らは元モデルの行に比べ、PSNR、SSIM、LPIPSと正規化VBench総合値の改善を報告した。
補足:編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、VIGORの仕組み
- 01生成動画
- 02VGGTで測定点選択
- 03再投影と点追跡
- 04位置ずれの評価
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
VIGORは、生成動画で建物や物体の形と奥行きがフレーム間で保たれているかを測る。対象の動画拡散モデルは、雑音から動画を段階的に作るが、著者らは学習時に立体構造を直接教える情報が乏しく、物体の変形や位置のずれが生じると説明する。
形を見せるための動画では、このずれが内容の伝わり方に関わる。著者らは生成結果を幾何学的な整合性で採点し、その結果を追加学習や生成時の選択に使う方法を提案した。
手法
生成動画を既存の幾何推定モデルVGGTに入力し、各フレームの深度とカメラ情報を推定する。深度は画像内の点までの距離を表す。VGGTの「注意」、つまりモデルが強く参照する領域を使って小領域を選び、その中心を測定点にする。空や地面など、対応を確かめにくい領域を避ける狙いだ。
測定点を深度とカメラ情報から三次元の位置に戻し、別のフレームで現れるはずの位置に「再投影」する。点追跡で得た実際の対応位置と比べ、有効な点とフレームの組について距離を平均する。たとえば建物の角の予測位置と追跡位置が離れれば誤差が増える。この評価は、好ましい動画を使う追加学習や、生成時の候補・経路の選択に使われる。
新規性
VIGORの中心は、別のフレームに再投影した点と、実際に追跡した点との距離を幾何評価に使うことだ。画素の明るさを直接比べる方式で混入し得る、照明などの影響を避ける狙いがある。
さらにVGGTの注意情報から測定点を選ぶ。同じ評価を、双方向モデルの追加学習と、生成時の候補選択に利用し、逐次生成モデルでは途中の経路も評価する。
従来手法との違い
比較対象は元のCausVid、エピポーラ制約による評価、画素単位の再投影差による評価である。エピポーラ制約とは、視点が変わったときに同じ点が現れ得る位置を絞る幾何学的な条件をいう。
画素単位の方式は、推定したカメラ情報で画像を移した後の明るさの差を測る。VIGORは対応する点の位置を比べる。確認できた候補選択の比較では、各評価方法がCausVidによる同一の10候補から1本を選んだ。
実験結果
著者らはRealEstate10kの屋内場面とGLDv2の屋外場面を参照し、2,560件の文章指示を作成した。双方向のCausVidで各指示から10本、計25,600本を生成し、最良と最悪の候補を選好データの対にした。確認できた本文の範囲では、以下の数値はこの10候補からの選択実験に関するものだ。
著者らの表では、元モデルの行とVIGORで選んだ行を比べると、再投影画像のPSNRは19.68から22.66、SSIMは0.6381から0.7665、LPIPSは0.3604から0.2330だった。正規化されたVBench総合値は83.33%から84.52%。逐次生成モデルの探索については、実験設定の冒頭までしか確認できず、結果の数値は示せない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案:建物の外観を紹介する生成動画で、採用候補を絞る。入力は建物を指定する文章と、同じ文章から生成した複数の動画。各候補の点追跡と深度・カメラ情報の推定から位置ずれを測り、得点の高い動画を担当者に示す。
候補選択だけなら追加学習用の元動画や選好ラベルは不要で、入力映像以外の外部センサーも想定しない。ただし建物の正しい形はこの得点だけでは確定しない。担当者が窓枠や壁面の形と動きの自然さを確認する運用を仮説として試す。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案:対象に近い文章指示を用意し、各指示から複数の動画を生成する。同じ候補集合で、元モデルの出力、画素単位の再投影差による選択、VIGORによる選択を比べる。点追跡と深度・カメラ情報の推定には候補動画を使い、外部センサーや追加学習用データはこの段階では要しない。
評価用には、人が形の保持と動きの自然さを別々に判定したラベルを作る。各方式で選ばれた動画の判定割合、再投影の評価値、選択時間を記録する。追加学習まで試す場合は、用途に合う文章指示と元動画から候補を作り、評価値による好ましい候補・好ましくない候補の対を準備する。
限界と課題
著者らが動機として挙げるのは、画素差への明るさの混入と、大規模な動画学習データに幾何の正解情報を組み合わせにくいことだ。これらをVIGOR自体の実証済みの失敗条件とは扱えない。
編集上の検証事項は、遮蔽、反射、動く被写体を含む動画で、追跡点や推定深度が安定するかである。候補数や探索方法を変えた際の処理時間と、点の位置ずれの改善が人の感じる違和感の減少につながるかも、用途ごとに確かめる必要がある。
出典
元のタイトル・要旨を確認する(英語)
VIGOR: VIdeo Geometry-Oriented Reward for Temporal Generative Alignment
Video diffusion models lack explicit geometric supervision during training, leading to inconsistency artifacts such as object deformation, spatial drift, and depth violations in generated videos. To address this limitation, we propose a geometry-based reward model that leverages pretrained geometric foundation models to evaluate multi-view consistency through cross-frame reprojection error. Unlike previous geometric metrics that measure inconsistency in pixel space, where pixel intensity may introduce additional noise, our approach conducts error computation in a pointwise fashion, yielding a more physically grounded and robust error metric. Furthermore, we introduce a geometry-aware sampling strategy that filters out low-texture and non-semantic regions, focusing evaluation on geometrically meaningful areas with reliable correspondences to improve robustness. We apply this reward model to align video diffusion models through two complementary pathways: post-training of a bidirectional model via SFT or Reinforcement Learning and inference-time optimization of a Causal Video Model (e.g., Streaming video generator) via test-time scaling with our reward as a path verifier. Experimental results validate the effectiveness of our design, demonstrating that our geometry-based reward provides superior robustness compared to other variants. By enabling efficient inference-time scaling, our method offers a practical solution for enhancing open-source video models without requiring extensive computational resources for retraining.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01




