アーカイブ / Generative AI / Computer Vision
動画生成モデルは因果を捉えるか：実写動画の逆再生で測るYoCausal
YoCausal
YoCausalの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Validation of the YoCausal benchmark. (Left) We evaluate and rank 13 state-of-the-art Video Diffusion Models alongside a human baseline based on our Causality Score (lower is better). (Right) Visualizations of a causal event (“ wiping a dirty plate ”) strongly align with our quantitative rankings. The top-ranked VDM, Wan2.2-A14B [ 114 ] , successfully captures the cause-and-effect relationship by progressively removing the dirt ( green boxes ). In contrast, mid- to low-ranked models like CogVideoX1.5-5B [ 48 , 124 ] and AnimateDiff-SDXL [ 38 ] struggle to understand the underlying causal logic. They show severe causal errors, such as dirt reappearing or smearing in an illogical way ( red boxes ). This shows that our benchmark effectively disentangles genuine causal reasoning from simple visual generation ability.
概要
- YoCausalは実写動画の元映像と逆再生映像を対にし、動画拡散モデルのノイズ除去誤差から反応を測る。
- RSIは時間の向きへの反応、CCIは因果場面と非因果場面でのRSIの差を表し、併せて解釈する。
- 著者らは公開モデル13種を評価し、時間の向きへの反応が強くても因果場面への反応は強いとは限らないと報告した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、YoCausalの仕組み
- 01実写動画
- 02正逆の動画対
- 03ノイズ除去誤差
- 04因果群との差
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
YoCausalは、動画生成モデルが出来事の原因と結果をどこまで捉えるかを測る。たとえば皿を拭くと汚れが減るという関係は、映像が自然に見えることだけでは評価しにくい。
従来の物理現象の評価には、合成映像や管理された撮影場面に依存するものがある。日常の実写映像を使い、時間の向きを見分ける反応と、因果関係への反応を分けて調べることが課題となる。
手法
実写動画を元の順序と逆再生の対にする。動画拡散モデルは、映像に加えたノイズを取り除くよう学習した生成モデルである。両方に同じノイズを加え、10の処理段階でノイズ除去誤差を比べる。逆再生の誤差が大きい動画の割合をRSIと呼ぶ。値は四つの題材群それぞれの割合を平均して求め、時間の向きへの反応を表す。
次に、画像と言葉を扱うモデルで動画を因果関係が明瞭な群とそうでない群に分け、両群のRSIの差をCCIとする。皿を拭いて汚れが減る動画を逆再生すると、結果が原因より先に現れる。車が巡航する動画のように明瞭な因果変化がない群とも比べ、逆再生への反応が因果場面で強まるかを調べる。
新規性
著者らは、実写動画を逆再生するだけで元動画との評価対を作り、題材を追加できるYoCausalを提案した。合成映像の場面設定に縛られず、日常の異なる出来事を扱える設計である。
時間の向きへの反応を測るRSIに加え、因果関係が明瞭な動画とそうでない動画で反応の差を測るCCIを導入した。逆再生を見分けた結果だけで因果理解を判断しない点が特徴である。
従来手法との違い
本文で挙げられた従来の物理評価には、合成映像や管理された環境での撮影映像を使うものがある。YoCausalは実写動画から正逆の対を作るため、新しい題材を評価に加えられる。
映像の画素差や見栄えを直接採点する評価とも測る対象が異なる。同じモデルが元動画と逆再生動画に示すノイズ除去誤差を比べ、さらに因果関係の明瞭さで動画を分けて、時間方向への反応だけで説明できるかを調べる。
実験結果
著者らは、日常場面、物理現象、人の行動、動物の行動を含む実写動画1,232本で、公開された動画拡散モデル13種を評価した。人による時間方向の判断には1,200本を用いた。RSIでは複数モデルが無作為判断の50％を90％信頼水準で上回ったが、人との差は残ったと報告する。
群分けの確認では、因果場面30本と非因果場面30本について、人のラベルとの一致を、分類精度をまとめるF1スコア82.76％と報告した。群分けによるモデル順位の一致度を示すケンドールの順位相関係数は0.7613だった。確認できた本文の範囲では、各モデルのRSI・CCIの具体値を確かめられない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：清掃手順を説明する動画の生成候補モデルを選ぶ際、拭き取りで汚れが減る実写動画と、明瞭な因果変化がない実写動画を評価入力にする。各動画には人が因果群・非因果群のラベルを付け、専用センサーは使わず既存の撮影映像を利用する。
学習済みモデルを各モデルの入力形式に合わせ、RSIとCCIを算出する。別途、清掃手順を指示して生成した映像で汚れの変化を担当者が確認し、指標と並べる。追加学習を前提にしない選定手順の仮説であり、指標だけで生成品質は保証できない。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象業務から、作業で状態が変わる実写動画と明瞭な因果変化がない実写動画を集め、人が群のラベルを付ける。専用センサーや追加学習用データは設定せず、既存の撮影映像と学習済みモデルを使う。正逆の対を作り、各モデルの指定する画面サイズや時間設定に合わせる。
各モデルのノイズ除去誤差からRSIとCCIを算出し、RSIは無作為判断の50％とも比べる。担当者の群分けと生成結果の目視記録を別の比較基準に置き、ラベルを見直した際のモデル順位の変化を測る。対象業務で指標が役立つかは、この結果から判断する。
限界と課題
著者らは、RSIだけでは因果関係への反応と単なる時間方向への反応を分けられないと述べる。CCIも二群の差を示す相対指標であり、RSIが低いモデルでは解釈しにくいため、両方を併せて読む必要がある。
編集上の検証事項は、因果群と非因果群を分けるラベルの妥当性、題材による逆再生の手掛かりの偏り、ノイズ除去誤差と実際の生成結果の対応である。対象業務の動画でも同じ傾向が出るか、人の判定と生成映像の確認で確かめたい。
出典
元のタイトル・要旨を確認する（英語）
YoCausal: How Far is Video Generation from World Model? A Causality Perspective
As video diffusion models (VDMs) advance toward world models, a key question arises: do they truly understand causality, or merely overfit to statistical temporal patterns? Existing benchmarks mostly rely on synthetic data, limiting real-world generalization due to the sim-to-real gap. We present YoCausal, a two-level benchmark inspired by the Violation of Expectation (VoE) paradigm from cognitive science. By temporally reversing real-world videos at zero cost as natural counterfactual samples, YoCausal establishes an arbitrarily extensible evaluation protocol. Level 1 introduces the Reverse Surprise Index (RSI), quantifying arrow-of-time perception via denoising loss. Level 2 introduces the Causality Cognition Index (CCI), which leverages a VLM to stratify datasets into causal and non-causal subsets, disentangling genuine causal reasoning from temporal bias. Evaluation of 13 state-of-the-art VDMs reveals that perceiving the arrow of time does not imply understanding causality, and a significant gap persists relative to human-level causal cognition.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01