新着研究 / Generative AI / Robotics / Computer Vision
3万時間の一人称動画でも物体の変化は難しい、世界モデルの手と対象を分けて評価
Ego-centric World Model Fidelity
Ego-centric World Model Fidelityの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Limitations of world model scaling. Left: Ego-centric data scaling can achieve high agent modeling fidelity, but the effect of agent’s actions on the world lags behind. Right: The same failure at the level of a single prediction. Our best model places the hands almost exactly where they belong, while the paper they are folding is rendered in the wrong configuration throughout. See the project website for more video-level results.
概要
- 300〜3万時間の学習で、手の動きと操作対象の変化の忠実度を別々に測った。
- 骨格を視覚条件として与えると少量データでも手を描けるが、対象物の変化には大きな差が残る。
- 動く対象へ雑音と学習重みを配る方式が改善を示したものの、物体側の不足は解消しない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Ego-centric World Model Fidelityの仕組み
- 01一人称の操作動画
- 02行動条件で未来を生成
- 03手と物体を別々に追跡
- 04領域ごとの忠実度を評価
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、世界モデルが手の動きと、その手で変わる物体の状態をどれだけ再現できるかを分けて調べる。未来の映像を作るモデルをシミュレーターや計画へ使うには、手が正しい位置にあるだけでは足りない。
例えば紙を折る動作で、手の軌跡が合っていても紙の折れ方が違えば、次の操作を評価できない。データを増やした全体の性能だけではこの差が埋もれるため、操作する側とされる側を個別に測る。
手法
Cosmos 3の複数構成を、300〜3万時間の入れ子になったデータ集合で学習する。通常の行動条件に加え、カメラ座標へ投影した骨格を画像条件として与える方式を比較する。身体の状態を直接渡して、手の推定改善と対象物の変化を切り分ける。
生成と正解の動画で手や操作物を区分して追跡し、領域の重なりで構造的一致を測る。さらに手の近くの信頼できる三次元移動から動的領域を推定し、その領域の雑音量を上げる学習を試す。局所の見た目を引き継ぐだけでは解けなくし、動きの推定へ学習を向ける考え方だ。
新規性
人の動作と環境への効果が、データ増加で同じように改善するとは限らないことを直接測る。タスク全体の成功や行動誤差だけを見る評価より、世界モデルのどこが不足しているかを特定しやすい。
身体の視覚条件を改善して手の忠実度を早く飽和させ、対象物側の変化を観察する。加えて、対象領域の学習信号を変える介入を行い、単なるデータ量以外の改善方向を検証する。
従来手法との違い
通常条件と骨格条件、モデル規模、既存の相互作用向け補助損失、動的領域への重み変更と雑音変更を比較する。骨格を使うNano構成は300時間で、通常条件の約1.5万時間相当の手の忠実度に達した。
既存の補助方式は、固定カメラや遮られにくい対象を前提とし、一人称の操作には合わなかったと説明する。カメラが動き、接触時に手が物を隠す条件を考慮した介入と分けて評価する。
実験結果
著者らは1.4万人が収集した大規模動画で学習し、撮影機器、場所、参加者が異なる評価を行った。骨格条件の対象物の構造指標は、300〜3万時間で0.09改善したが、手より低い水準へ収束する傾向を報告する。
1万時間の五乱数種比較では、対象物の指標が骨格条件0.513から提案構成0.532へ上がり、画像品質指標はほぼ維持された。推定した飽和値は測定範囲と曲線の仮定に依存し、全世界モデルの普遍的な上限ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：ロボット向け世界モデルの採用試験で、腕の軌道と部品状態の一致を別の検査項目にする。入力は操作条件と開始画像、出力は未来動画と、操作側・対象側それぞれの評価値だ。
組み立ての予行に使うなら、手先が合っているという理由だけで予測を採用せず、部品の移動や接触後の状態を確認する。追加データを集める前に、条件の渡し方や対象領域への学習配分を比較する用途が考えられる。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象物が変形する作業と位置が変わる作業を少数選び、手と物体の正解領域を用意する。データ量と条件方式を変え、固定した未知環境で両者の一致を測る。
画像のきれいさを別指標で確認し、追跡自体の誤差は同じ正解動画を複数初期化して見積もる。骨格条件、領域重み、領域雑音を個別に試し、どの介入が対象物へ効くかを確認する。計画に利用する場合は予測の誤りが選択へ与える影響も測る。
限界と課題
著者らは、対象物へ学習を向けても操作側との差が大きく残ると述べる。領域追跡の測定限界もあるため上限を推定しているが、対象物の低い成績を測定器だけの問題としては説明できないという分析だ。
編集上の検証課題は、異なる生成構造、長い接触過程、硬さや摩擦の変化への一般化だ。特定範囲の規模拡大から導いた飽和の見積もりを、データ追加が常に無意味という結論へ広げず、目的作業での予測精度を別途確認する必要がある。
出典
元のタイトル・要旨を確認する（英語）
What 30,000 Hours of Ego-centric Video Does Not Teach
World models offer a promising alternative to physics-based simulators, yet remain far from practical deployment. We ask how far scaling ego-centric human video takes them, using a dataset of 30,000 hours spanning over 1,000 scene types and 14,000 contributors. Rather than relying on opaque downstream metrics, we directly evaluate agent and object-interaction fidelity on a challenging out-of-distribution benchmark. Increasing training data by 100x improves both, but unevenly: the agent is modeled well, while object fidelity remains far lower and improves slowly. We show that the agent gains need not come from data, and a careful visual conditioning design saturates fidelity with a fraction of it, which lets us measure object fidelity on its own and discover its saturation point. We then introduce a supervision scheme that shifts capacity from scene appearance toward object dynamics, improving object fidelity though a substantial gap remains. Finally, our conclusions transfer to downstream humanoid modeling. Overall, our results suggest that scaling ego-centric data brings agent modeling close to its limit while leaving its effects on the world far behind, and that closing this gap will depend on how models are trained, not only on how much data they see.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集：2026-10-10