アーカイブ / Robotics / VLM
動く対象を操作するPUMA、過去画像の動きと将来の対象特徴を学習
PUMA
PUMAの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : (a) Illustration of the defined dynamic difficulty levels, progressing from static (Level 0) to stochastic and abrupt dynamics (Level 3). (b) Dynamic awareness requires capturing historical context and anticipating future motion. (c) Performance of SOTA models degrades when shifting from static to dynamic environments.
概要
- PUMAは過去画像間の動きと、学習時に予測する対象物の将来特徴を組み合わせ、腕の短い動作列を出す。
- DOMINOは動く対象の操作を扱う35課題と11万件超の熟練動作記録を含む。
- 著者らのDOMINO@0.1での成功率はPUMAが17.20%、Qwen系の基盤モデルで再実装したOpenVLA-OFTが10.86%だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、PUMAの仕組み
- 01指示・現画像・過去画像
- 02過去画像間の動き
- 03画像と動きの統合
- 04腕の動作列
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
動く対象をつかむ、あるいは動く箱へ物を置くには、対象の現在位置だけでなく、腕が届く時点の位置を考える必要がある。視覚・言語・行動モデル（VLA）は画像と指示からロボットの動作を出す仕組みだが、著者らは動く対象の学習データ不足を課題に挙げる。
主流のVLAが単一時点の画像に頼ることも、動きの判断を難しくする。同じ位置に見える対象でも、進む方向や速さが違えば必要な動作は変わる。
手法
PUMAは作業指示、現在の複数視点画像、一定間隔で撮った過去の俯瞰画像を使う。過去画像を圧縮してから「オプティカルフロー」、つまり画面上の各点が画像間でどちらへ動いたかを表す情報を計算する。例えば動く箱へ物を置く場合、現在の箱の位置とそれまでの動きを合わせて読み、腕の短い動作列を出す。
学習時には将来画像から指示対象の領域を特定し、その見た目を数値で表す特徴を作る。「ワールドクエリ」という学習可能な問い合わせ表現にこの特徴を予測させ、同時に記録済みの正しい腕の動作へ出力を近づける。実行時は将来画像を使わず、現在までの観測から動作を出す。
新規性
PUMAは、過去画像から得た画面全体の動きと、操作対象の将来の特徴を予測する学習を、一つの操作モデルに組み合わせる。対象の将来特徴は学習時に教師情報として使い、実行時に将来画像を入力する必要はない。
著者らは併せて、動く対象の操作を扱うDOMINOを構築した。35課題を対象に、一定速度の動きから曲線運動、急な変化を含む動きまで、難度を分けて評価できる。
従来手法との違い
既存の視覚・言語・行動モデルは、主に単一時点の画像から動作を決める。PUMAは過去画像間の動きを入力に加え、学習時には対象物の将来の特徴も予測する。将来の軌道を実行時の入力として渡す方式とは異なる。
著者らは比較モデルもDOMINOで追加学習した。ただし、ACTは課題ごとに、ほかの比較モデルは全課題を対象に追加学習している。成績を比べる際は、この条件差を踏まえる必要がある。
実験結果
著者らのDOMINOは35課題、五種類のロボット構成、11万件超の熟練動作記録を含む。主な比較は、シミュレーションのAloha-AgileXを使い、一定速度で動くLevel 1、最高速度0.1 m/sのDOMINO@0.1を対象とする。学習条件は、特記がなければ35課題を混ぜた設定である。
著者らの表では、制限時間内に全条件を満たした試行の割合である成功率は、PUMAが17.20%、Qwen系の基盤モデルで再実装したOpenVLA-OFTが10.86%だった。操作の進み具合に安全域逸脱や衝突の減点を加えるManipulation Scoreは、それぞれ34.97と30.49。これらは実機の成績ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：搬送中の箱へ部品を置く一作業を試す。作業指示、作業域の現在の複数視点画像、過去の俯瞰画像、ロボット自身の状態を入力し、腕の短い動作列を出力する。箱が動く間は観測を更新して置く動作につなげる。
適応には、この作業の指示文、将来画像を含む連続撮影、正しい腕の動作記録が要る。学習用の将来画像では箱の領域を特定する必要があり、その結果を確認する。効果は作業現場の条件で測る。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：搬送中の箱へ部品を置く一作業に絞り、単一画像を使う方式とPUMA型の方式を比べる。複数視点と俯瞰用の画像、ロボット自身の状態、指示文、熟練者の動作記録、学習時に参照する将来画像を集める。箱の領域を示す情報は、抽出結果を確認して用意する。
両方式を同じ作業記録で適応させ、箱の速度や進路ごとに繰り返し試す。完了条件を先に決めて成功率を数え、対象を見失った回数、衝突、画像取得から動作までの遅れも記録する。条件別の結果で導入可否を判断する。
限界と課題
著者らが明示した主な実験条件は、シミュレーション内で対象が一定速度で動くLevel 1である。より複雑な動きについて確認できた本文の範囲では、ACTを五つの課題で評価した記述がある。急な進路変更を含む条件でのPUMAの成績は、この範囲からは判断できない。
編集上の検証事項は、実機での成功率、画像取得から動作までの遅れ、対象が隠れたときの動作、接触時の安全性である。将来画像から対象領域を取り出す手順が、箱の形や背景の変化に対応できるかも確かめたい。
出典
元のタイトル・要旨を確認する（英語）
Towards Generalizable Robotic Manipulation in Dynamic Environments
Vision-Language-Action (VLA) models excel in static manipulation but struggle in dynamic environments with moving targets. This performance gap primarily stems from a scarcity of dynamic manipulation datasets and the reliance of mainstream VLAs on single-frame observations, restricting their spatiotemporal reasoning capabilities. To address this, we introduce DOMINO, a large-scale dataset and benchmark for generalizable dynamic manipulation, featuring 35 tasks with hierarchical complexities, over 110K expert trajectories, and a multi-dimensional evaluation suite. Through comprehensive experiments, we systematically evaluate existing VLAs on dynamic tasks, explore effective training strategies for dynamic awareness, and validate the generalizability of dynamic data. Furthermore, we propose PUMA, a dynamics-aware VLA architecture. By integrating scene-centric historical optical flow and specialized world queries to implicitly forecast object-centric future states, PUMA couples history-aware perception with short-horizon prediction. Results demonstrate that PUMA achieves state-of-the-art performance, yielding a 6.3% absolute improvement in success rate over baselines. Moreover, we show that training on dynamic data fosters robust spatiotemporal representations that transfer to static tasks. All code and data are available at https://github.com/H-EmbodVis/DOMINO.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01