アーカイブ / Robotics / Generative AI
生成した作業動画をロボットの状態列に変換するVICX
VICX
VICXの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Overview of VICX, a closed-loop generalizable manipulation framework via video generation and video-to-trajectory in-context operator network (V2T-ICON). Given a prompt P P and current observation I I , a frozen video generation model generates a visual plan, which is translated into a robot-state trajectory by V2T-ICON and executed with PID control. The resulting observations are fed back for the next replanning cycle.
概要
- VICXは、固定した動画生成モデルの計画をV2T-ICONでロボットの状態列に変え、実行結果を使って再計画する。
- 著者らのMeta-World９作業のシミュレーションでは、全体成功率はVICXが72.2％、比較対象のAVDCが55.0％だった。
- 著者らは動画生成の遅延と単一視点での精度を制約に挙げており、細かな接触作業や実機での利用には追加検証が要る。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、VICXの仕組み
- 01現在画像と作業指示
- 02将来動画を生成
- 03腕画像から状態列へ
- 04制御して再観測
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
VICXは、言葉で指示したロボット作業について、将来の様子を描いた動画を実行可能な動きにつなぐ方法だ。生成動画は腕や物体の動きを視覚的に示せるが、画素をそのままロボットの制御指令にはできない。
視覚・言語・動作を一体で学ぶ方式は、ロボット固有の実演データに強く依存すると著者らは指摘する。作業や腕が変わっても使える計画を考えるには、動画中の腕の動きを、そのロボットの状態へ結び付ける仕組みが必要になる。
手法
現在画像と作業指示を、重みを固定した動画生成モデルに入れ、短い将来動画を作る。例えば引き出しを開ける指示なら、腕と引き出しの動きを動画で表す。V2T-ICONは各画像から腕の領域を切り出し、見た目が近い腕画像と、その時のロボット状態を組にした参照例を検索する。
参照例は、画像の見た目と状態の対応を示す手掛かりとなる。V2T-ICONは入力画像を参照例と照合し、前後の画像も考慮して状態列を推定する。制御器がその列を追跡した後、実際の観測を動画生成モデルへ戻して計画し直す。実行結果を見て次の動きを決める、この繰り返しを閉ループという。
新規性
VICXは、動画による作業計画とロボットへの実行指令を分ける。動画生成モデルの重みを固定したまま計画に使い、V2T-ICONが各時刻のロボット状態を並べた「状態列」に変換する構成だ。
V2T-ICONは、腕画像と状態の参照例を実行時に検索し、入力動画に応じて両者の対応を推定する。著者らは、この方法により、実行時に重みを更新せず、学習時とは異なる作業や外観の腕にも対応できると主張する。
従来手法との違い
著者らはMeta-Worldの９作業で、π0.5-Scratch、π0.5-Finetune、AVDCとVICXを比較した。π0.5-FinetuneはMeta-World MT50で追加学習され、AVDCは11作業で学習されている。一方、VICXのV2T-ICONの学習元は３作業だった。
従来の動画計画法には、隣り合う画像から動作を逆算する方法や、画像上の動きから幾何学的に動作を求める方法がある。VICXは生成動画から状態列を直接推定し、制御器に渡す。成功率の優劣は、報告されたシミュレーション条件に限って読める。
実験結果
著者らはMeta-Worldの９作業を閉ループのシミュレーションで評価し、各作業を20個の乱数条件で試した。全体成功率はVICXが72.2％、π0.5-Scratchが20.6％、π0.5-Finetuneが26.1％、AVDCが55.0％だった。ただしbutton-pressとfaucet-closeではAVDCがVICXを上回った。
参照例を使わない場合と各画像に５件使う場合を比べると、標準環境の成功率は62.8％から72.2％、外観の異なる腕と変更した環境では45.0％から57.2％になったと著者らは報告する。確認できた本文の範囲では、付録にある成功判定の詳細と外観変更時の作業別結果は確認できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：設備の引き出しを開ける作業を、単一視点のカメラを置いたシミュレーションで検討する。現在画像と「引き出しを開ける」という指示を入力し、生成動画から状態列を得て、実行後の画像を次の計画に使う。
準備には、学習元となる作業動画と各画像に対応するロボット状態の記録、参照用の画像・状態ペア、成否を判定するラベルが要る。対象設備に合わせて腕領域の切り出しと参照例の検索を調整する。設備固有の形状や視点で動くかは、この応用案の検証対象である。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象作業を単一視点のカメラで記録し、各画像と同期したロボット状態、成否ラベルを集める。腕の領域を切り出し、画像・状態ペアを参照集合にする。対象の腕と視点に合わせて切り出し結果を点検し、必要な学習元データとV2T-ICONの適合方法を決める。
小規模なシミュレーションで、各画像に参照例を使う場合と使わない場合を同じ条件で比べる。成功率、状態列のずれ、計画の回数と所要時間を測る。接触を伴う実機作業へ進む判断には、位置の誤差と停止条件を別途確かめる。
限界と課題
著者らは、VICXが高頻度の動作出力向けには設計されておらず、動画生成が主な遅延要因だと述べる。また、単一視点からの状態推定には、ミリメートル単位の挿入や力加減を要する接触作業に必要な精度がないとしている。
編集上の検証事項は、対象環境で腕の切り出しと参照例の検索が安定するか、生成動画のずれが状態列にどう伝わるかである。外観の異なる腕への移行は、環境の見た目も変えたシミュレーションでの報告であり、実機の安全性や作業時間は示していない。
出典
元のタイトル・要旨を確認する（英語）
VICX: Generalizable Robot Manipulation via Video Generation and In-Context Operator Network
Generalizable robot manipulation requires not only task-level reasoning over unseen scenes, but also reliable grounding of visual plans into embodiment-specific execution. To bridge this gap, we propose VICX (Video generation and In-Context eXecution), a decoupled closed-loop manipulation framework. In VICX, a frozen video generation model produces vision-language-conditioned high-level visual plans, while a Video-to-Trajectory In-Context Operator Network (V2T-ICON) serves as the task-agnostic interface that grounds these plans into executable robot-state trajectories. To improve execution generalization, V2T-ICON operates on segmentation-extracted arm-only frame observations and uses retrieved image-state pairs as in-context prompts, allowing a robust and generalizable visual-to-state mapping at inference time without parameter updates. Experiments on Meta-World show that VICX supports cross-task generalization, closed-loop self-correction, and cross-embodiment transfer, demonstrating dual generalization across both task semantics and robot execution. The project webpage can be found here: https://scaling-group.github.io/vicx/.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01