アーカイブ / Robotics / Computer Vision
深度画像を動画モデルに取り込み、ロボットの動作と将来の場面を同時に予測するSA-WAM
Spatially Aware World Action Model (SA-WAM)
Spatially Aware World Action Model (SA-WAM)の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 2 : SA-WAM architecture. SA-WAM injects geometry into the WAM latent sequence as tokenizer-compatible frames paired with each RGB view, while the proprioception ( q t q_{t} ) and action chunk ( a t a_{t} ) are inserted directly into dedicated positions in the latent sequence. The conditioning signals include the task description ( t a s k task ), one RGB frame per view ( v t c v_{t}^{c} ) interleaved with its corresponding 3D modality ( g t c g_{t}^{c} ) and the proprioceptive information at time t t ( q t q_{t} ). The action chunk, future-state RGB ( v t ′ c v_{t^{\prime}}^{c} ), and future depth ( g t ′ c g_{t^{\prime}}^{c} ) frames undergo the denoising process. The decoding phase is optional at inference time.
概要
- SA-WAMは作業指示、ロボット状態、RGB・深度画像から、動作列と将来のRGB・深度画像を同時に予測する。
- RoboCasaの24課題では、各課題50件の実演を用いた平均成功率が76.6％で、同条件のCosmos-Policyは67.1％だった。
- LIBERO-Plusでは環境変化への追加適応なしで、加重平均成功率86.6％を著者らが報告した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Spatially Aware World Action Model (SA-WAM)の仕組み
- 01指示・現RGB深度・状態
- 02深度を正規化
- 03RGBと深度を圧縮
- 04動作と将来像を生成
- 05動作列・将来RGB深度
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
SA-WAMは、ロボットの次の動作と将来の場面を同時に予測する。世界行動モデルは、動画から学んだ場面の変化を動作予測に利用するが、著者らによると従来の主な方式はRGB画像に依存し、距離を直接扱わない。
物をつかんで置く作業では、画像上の見た目だけでなく、物体と手先の距離も重要になる。深度画像は画素ごとの距離を表すため、動作と作業後の場面を予測するための追加情報になる。
手法
入力は作業指示、手首と左右のカメラのRGB・深度画像、ロボットの現在状態である。学習データからカメラごとに深度値の範囲を定め、範囲外を切り詰めてから対数正規化する。正規化した値を３チャンネルの画像に複製し、RGBと同じ固定されたVAEで圧縮する。VAEは画像を小さな内部表現に変える仕組みである。
圧縮した画像表現とロボット状態を動画モデルの入力列に配置する。モデルは、雑音を段階的に除く拡散という方法で、動作列と将来のRGB・深度画像を共同で予測する。例えばコップを移す指示では、現在の位置関係から手先の動作と移動後の見え方を出す。推論時には将来画像の復元を省くこともできる。
新規性
著者らの提案は、距離を表す深度画像を、事前学習済み動画モデルの画像用変換器で扱える形に直し、動作と将来のRGB・深度画像を一つの生成モデルで予測することにある。深度専用の変換器や動作専用の予測部は追加しない。
深度の対数正規化により、近距離の差を比較的細かく表しながら、遠距離の情報も残す設計である。既存の画像用変換器は固定したまま利用する。
従来手法との違い
主な比較対象のCosmos-Policyも、動画モデルの内部表現にロボットの状態と動作を配置する。SA-WAMは各視点のRGB画像に対応する深度を加え、将来の深度も予測する。RoboCasaの24課題では、両者とも各課題50件の実演を使った。
深度の表現については、RGBのみ、線形、逆深度、対数正規化を比較した。この比較はRoboCasaの８課題で6000学習ステップを用いた条件であり、別の課題でも同じ順位になるとは示していない。
実験結果
著者らはRoboCasaの24課題で、各課題50件の実演を使い、３つの乱数設定で平均成功率76.6％を報告した。同条件のCosmos-Policyは67.1％。LIBERO-Plusでは元のLIBERO実演だけで学習し、７種類の環境変化に追加適応せず、エピソード数で重み付けした平均成功率が86.6％だった。Cosmos-Policyは81.4％である。
深度方式の比較はRoboCasaの８課題を6000ステップ学習し、３設定・各課題50試行で評価した。成功率はRGBのみ52.7％、線形56.5％、逆深度59.5％、対数61.7％。実機UR5でも評価したが、確認できた本文の範囲では条件別の成功数は確認できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：卓上の部品を指定トレーへ移す作業に適用し、動作候補と動作後の見え方を一緒に出す。入力は作業指示、同期したRGB・深度画像、ロボットの現在状態とし、出力は動作列と将来のRGB・深度画像とする。
適用には、対象の部品とトレーを使った実演を集め、各時点の画像、深度、ロボット状態、実行動作を対応付ける必要がある。作業指示を記録し、カメラごとの深度範囲と動作の表現を対象環境に合わせる。成否の記録は評価に使う。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：部品を移す１作業を選び、RGBのみを基準に、RGBと深度を使う方式を同じ実演件数で比べる。作業指示、同期したRGB・深度画像、ロボット状態、実行動作を収集し、試行ごとの成否を評価用に記録する。カメラごとの学習データから深度範囲を求め、動作表現を対象のロボットに合わせる。
部品の位置や背景を変えた試行を別に設け、条件ごとの作業成功率を測る。予測した将来のRGB・深度と実際の観測との差も確認する。失敗時に距離の予測誤差が増えるかを調べ、追加した深度情報が動作選択に役立つか判断する。
限界と課題
著者が明示した一般的な適用限界は、確認できた本文の範囲では見当たらない。一方、著者らの８課題の分析では、線形正規化は近距離、逆深度正規化は中・遠距離で復元誤差が大きかった。この結果を受け、以後の実験には対数正規化を採用している。
編集上の検証事項は、別のカメラ配置や対象物でも深度範囲の設定が適切か、将来画像の予測精度が作業成功とどう関係するかである。UR5実機評価の本文は途中で切れており、条件別の成功数は確認できない。
出典
元のタイトル・要旨を確認する（英語）
Spatially Aware World Action Model via Geometric Latent Diffusion
World Action Models (WAMs) leverage the capabilities of large-scale pretrained video diffusion models to jointly predict future observations and actions, inheriting rich visual and physical priors from internet-scale video. This has made them a promising paradigm for robot policy learning, yet the prevailing models operate exclusively on RGB observations and do not leverage 3D information. To bridge this gap, we introduce a Spatially Aware World Action Model (SA-WAM), which repurposes a pretrained video model for joint action, RGB, and depth prediction, enabling 3D-aware world modeling and action prediction within a single diffusion backbone. We use a nonlinear encoding that maps the unbounded depth signal into the bounded input domain expected by the frozen VAE tokenizer. This allows us to reuse the tokenizer without 3D-specific fine-tuning, incorporating geometric information without sacrificing the pretrained priors. SA-WAM achieves state-of-the-art results on the RoboCasa and LIBERO-Plus benchmarks, while simultaneously improving future-state predictions. Furthermore, SA-WAM outperforms strong baselines in real-world evaluation using a UR5 robotic arm, with strong gains in randomized environments. We analyze the correlation between world model prediction quality and rollout success, providing insights into WAM performance and avenues for its improvement.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01