新着研究 / Computer Vision
操作に応じて動画を続けるWorldPlay2、長い履歴を圧縮して扱う
WorldPlay2
WorldPlay2の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: WorldPlay2 is a real-time interactive world model enabling versatile controls with long-horizon consistency. Top: It supports flexible interactions, including navigation controls and complex semantic events. Middle: It executes multi-turn interactions to achieve coherent storytelling. Bottom: It maintains long-horizon consistency under complex navigation controls.
概要
- 動作と意味的な指示を分け、圧縮した履歴を使って次の映像を生成する。
- 著者らのWBench総合平均は83.1で、Stable Forcingを外した構成は79.0だった。
- 16 FPSという報告は8台のH20 GPUと推論最適化を用いた条件である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、WorldPlay2の仕組み
- 01過去映像と操作
- 02指示を種類別に分離
- 03履歴を圧縮
- 04次の映像を生成
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
WorldPlay2は、利用者の操作に応じて次の映像を生成する「対話型世界モデル」を扱う。視点を動かす指示と、物体を出現させる指示では必要な時間の細かさが違い、同時に扱うのが難しい。
長く操作を続けるには、以前の場所や人物の見た目も保ちたい。しかし過去の全映像を参照し続けると計算量が増え、速い応答と長時間の一貫性を両立しにくい。実用上は、操作への反応と再訪時の整合性を一緒に確かめる必要がある。
手法
入力は過去の映像と現在の操作で、出力は次の短い映像区間である。視点の角度、移動方向、ジャンプなどは各フレームに対応させ、場面の外観、キャラクターの同一性、起こす出来事は別々の文章項目として渡す。たとえば「同じ人物で右へ移動し、物体が現れる」場合、移動と出来事を異なる指示として扱う。
履歴は「メモリトークン」という短い内部表現へ圧縮し、生成側の生徒モデルと学習時に採点する教師モデルで共有する。学習では長い生成映像を短い区間に分けて評価する。Stable Forcingでは、生徒が少ない段階で映像を作れるよう初期化し、長い生成結果を再利用しながら教師の評価に近づける。
新規性
動作と意味的な指示を分け、場面・キャラクター・出来事も別々に指定する。これにより、視点移動のような細かな操作と、物体の出現のような長い時間幅の指示を同じ生成過程で扱う設計だ。
さらに、生成履歴を圧縮した情報を教師モデルと生徒モデルで共有し、長い動画を短い区間ごとに評価する。Stable Forcingは、少ない生成段階に生徒を慣らしてから長い生成結果を使って学習を進める方法として提案されている。
従来手法との違い
従来の操作型世界モデルには、主に移動を扱うものや、言葉による出来事の指定を加えたものがある。著者らは、操作の時間幅や意味の粒度が異なるため、単一の指示として扱うと外観・移動・出来事が混同されやすいと説明する。
比較実験ではWorldPlay、AlayaWorld、Lingbot-World-V2、EchoWM、Alaya-Evoke-Turboを対象にした。WorldPlay2は操作を分けて入力し、全履歴を高解像度のまま参照する代わりに圧縮履歴を使う。これは著者らが報告する設計上の違いであり、各比較モデルの失敗原因を個別に確定するものではない。
実験結果
著者らは、移動用約70万本と出来事用約1万本の動画を学習に用いたと報告する。WBenchの総合平均はWorldPlay2が83.1で、比較対象中の最高値だったAlaya-Evoke-Turboの82.0を上回った。Stable Forcingを外した自モデルは79.0だった。
再訪軌道200本のRevisitBenchでは、画像の近さを示すPSNRが19.71、構造の類似度を示すSSIMが0.613だった。別の保留評価145件で、出来事への応答の平均は74.7と報告されている。推論速度16 FPSは8台のH20 GPUと複数の最適化を用いた条件である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：仮想空間を使う教育コンテンツの試作に用いる。制作者が場面と登場人物を指定し、操作担当者が視点移動やジャンプを入力する。途中で「机の上に物体が現れる」といった出来事を追加し、その後も同じ場所と人物として続く動画を確認する。
出力は操作に追従する連続映像とする。制作側は操作記録と生成映像を並べ、指定した出来事が起きた時点、再訪した場所の見た目、人物の外観が保たれたかを確認する。これは論文で実証された制作工程ではなく、機能から考えた利用場面である。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：同じ初期場面から、視点移動、ジャンプ、物体の追加を含む短い操作列を用意する。既存の制作方法による映像を比較基準にし、入力した操作と生成映像を時刻ごとに照合する。
測る項目は、操作から映像への遅延、指示した出来事の実行率、同じ場所へ戻ったときの見た目の一致、人物の外観の継続性とする。短い試行に加えて複数回の往復操作を行い、映像が長くなったときの変化を記録する。
限界と課題
著者らは、異なる種類の操作を統合しにくいこと、長い履歴の計算量、少ない生成段階で学習する際の不安定さを課題として挙げる。提案手法はこれらへの対処だが、示された数値は論文の評価条件に基づく。
編集上の確認点は、用途に必要な解像度や操作遅延で同じ品質が得られるか、長時間の繰り返し操作で場面や人物が崩れないかである。16 FPSという報告には8台のH20 GPUと推論時の最適化という条件が付くため、別の環境での速度は実測が必要になる。
出典
元のタイトル・要旨を確認する（英語）
WorldPlay2: Extending Real-Time Interactive World Models in Control and Horizon
Interactive world models require responding in real time to versatile controls and maintaining long-horizon consistency. However, modeling heterogeneous controls remains difficult, while explosive contexts and unstable distillation impede achieving both long-horizon consistency and real-time responsiveness. In this paper, we present WorldPlay2, an interactive world model that couples a factorized hybrid control interface with a co-design of compressed memory and stable distillation. 1) Our factorized hybrid control interface integrates frame-aligned action control with structured semantic control that explicitly disentangles scene appearance, character identity, and dynamic semantic events, thereby facilitating effective control learning. 2) To achieve efficient long-horizon modeling, we compress historical contexts into compact memory tokens shared by the autoregressive student and the bidirectional teacher. This design enables clip-wise, memory-conditioned score evaluation instead of jointly processing an entire long rollout, substantially reducing distillation overhead. 3) We further propose Stable Forcing, which initializes the autoregressive student via a few-step strategy and leverages full-rollout replay to preserve the quality of long-horizon rollouts, ensuring robust and stable distillation. Extensive experiments demonstrate the strong generalizability of our model and its superior performance compared to existing methods.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29