アーカイブ / Robotics / VLM / Generative AI
動画の動きを手掛かりに、将来映像とロボットの行動を予測するMotus
Motus
Motusの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Motus Architecture. Here, a t … a t + k a_{t}\dots a_{t+k} are actions, z t … z t + k z_{t}\dots z_{t+k} are latent actions, and τ v \tau_{v} and τ a \tau_{a} are the rectified flow timesteps for the video generation model and the action expert, respectively.
概要
- 三つの専門器をつなぎ、入力条件に応じて行動列や将来映像を予測する。
- 光フローから潜在行動を学び、操作信号のない動画も事前学習に使う。
- RoboTwin 2.0の50課題で、著者らが報告した変動場面の平均成功率は87.02％だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Motusの仕組み
- 01現在画像・指示・状態
- 02三つの専門器で処理
- 03予測対象を選択
- 04行動列・将来映像
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
Motusは、場面と指示からロボットの次の行動や将来の映像を予測するモデルである。著者らによると、指示の理解、結果の予測、操作信号の生成は別々のモデルで扱われがちで、知識を一緒に使いにくい。
データにも隔たりがある。人の作業動画には動きが映っていても操作信号は付かず、ロボットごとに信号の意味も異なる。動画から得た動きを対象機の操作へどう結び付けるかが、導入時の論点となる。
手法
Motusは画像・言語理解、動画生成、行動予測の三つの専門器をつなぐ。現在の画像と指示、課題に応じたロボットの関節状態などを受け、次の行動列や将来映像を予測する。たとえばタオルを畳む指示では行動を出し、行動後の場面を知りたい場合は将来映像を予測する。動画と行動に別々の雑音設定を与え、求める出力を切り替える。
学習では、画像間で各画素がどちらへどれだけ動いたかを示す「光フロー」を圧縮し、動きの要約である潜在行動を作る。操作信号のない動画に少量の行動記録を組み合わせて動きと操作を結び付ける。著者らの手順は、動画生成器の学習、潜在行動を使う全体学習、対象ロボットの実演記録による調整の三段階である。
新規性
Motusは、画像・言語の理解、動画生成、行動予測の三つの専門器を共通の注意機構で接続する。注意機構は、入力のどの部分を参照するかを計算する仕組みで、予測する対象を切り替えて五種類の課題を扱う。
さらに、画像間の動きを圧縮した「潜在行動」を使い、操作信号のない動画も行動予測器の事前学習に取り込む。異なるロボットの操作信号を直接そろえず、画像上の動きを橋渡しにする設計である。
従来手法との違い
著者らはRoboTwin 2.0でπ0.5、X-VLAに加え、Motusの事前学習なし版と動画生成の第１段階まで学習した版を比較した。全モデルは各自の学習済みモデルから同じ回数の追加学習を受けている。
構造面では、著者らが説明する先行の統合世界モデルが観測と行動を一系列で処理するのに対し、Motusは事前学習済みの画像・言語理解器と動画生成器を組み込む。世界モデルとは、現在の観測や行動から将来の観測を予測するモデルを指す。
実験結果
著者らはRoboTwin 2.0の50操作課題で、各課題を100回実行し成功率を測った。通常場面の実演2,500件と、背景・照明などを変えた場面の25,000件を使い、各モデルを学習済み状態から４万ステップ追加学習した。
表の平均成功率は通常場面でMotus 88.66％、X-VLA 72.80％、π0.5 42.98％、変動場面で順に87.02％、72.84％、43.84％だった。実機は２種類の双腕ロボットで評価し、各課題の学習に100軌道を使ったと著者らは記す。確認できた本文の範囲では、実機の課題別結果と評価条件の続きはない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：卓上のタオル畳みで、現在のカメラ画像、作業指示、ロボットの関節状態を入力し、次の行動列と予測映像を作業者に示す試作を考える。予測映像は実行前に布の位置を確認する材料にする。
適用には、布の動きが見える動画と、対象ロボットの画像・関節状態・実行行動・指示を対応付けた実演記録が必要だ。動画から動きを学んだ後、対象機の操作信号に合わせて調整する。この用途での有効性は未検証である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象作業の動画を集め、対象ロボットでは指示、画像、関節状態、実行行動、成否を対応付けた実演記録を用意する。光フローから動きを学び、記録された行動で対象機向けに調整する。
同じ実演記録を使い、画像と指示から行動を出す方策を比較基準にする。同じ開始条件で成功率と失敗の種類を記録し、予測映像と実際の動きのずれ、行動出力までの時間も測る。これらは導入判断用の確認項目であり、この用途で論文が示した結果ではない。
限界と課題
著者らは、動画と行動をまとめて予測すると動画の情報量が行動を上回り、学習・推論の効率が落ち、行動予測も弱まり得ると説明する。対策として動画の時間間隔を広げる設計を採るが、実運用での解消を示す数値は確認できない。
編集上の検証事項は、手や腕に隠れた布の動きを画像から捉えられるか、対象機の調整に必要な実演件数、行動出力までの時間である。実機評価の本文は途中で切れており、課題別の成功率や失敗例は判断できない。
出典
元のタイトル・要旨を確認する（英語）
Motus: A Unified Latent Action World Model
While a general embodied agent must function as a unified system, current methods are built on isolated models for understanding, world modeling, and control. This fragmentation prevents unifying multimodal generative capabilities and hinders learning from large-scale, heterogeneous data. In this paper, we propose Motus, a unified latent action world model that leverages existing general pretrained models and rich, sharable motion information. Motus introduces a Mixture-of-Transformer (MoT) architecture to integrate three experts (i.e., understanding, video generation, and action) and adopts a UniDiffuser-style scheduler to enable flexible switching between different modeling modes (i.e., world models, vision-language-action models, inverse dynamics models, video generation models, and video-action joint prediction models). Motus further leverages the optical flow to learn latent actions and adopts a recipe with three-phase training pipeline and six-layer data pyramid, thereby extracting pixel-level "delta action" and enabling large-scale action pretraining. Experiments show that Motus achieves superior performance against state-of-the-art methods in both simulation (a +15% improvement over X-VLA and a +45% improvement over Pi0.5) and real-world scenarios(improved by +11~48%), demonstrating unified modeling of all functionalities and priors significantly benefits downstream robotic tasks.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01