新着研究 / Robotics / Generative AI
四本の実写動画から多様な物体の運搬を学ぶ人型ロボット
PRISM
PRISMの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: PRISM leverages video-to-video (V2V) generation to expand a few real videos into diverse counterfactual interactions—interactions that did not occur in the source videos but could have occurred with different objects. Reconstruction and retargeting yield physically plausible robot–object trajectories for training a unified depth-based humanoid policy that picks up, carries, and drops diverse objects zero-shot in real world deployment. Project website: prism-real2sim2real.github.io .
概要
- PRISMは四本の人の実写動画を256本の反実仮想動画へ増やし、ロボット用の動作へ変換した。
- 接触を使う復元・変換・学習を加えると、シミュレーションの対象内成功率は22.50％から96.25％へ上がった。
- 実機では未知の物体も運べたが、動画から使える軌道を得る工程と物体の物理特性に制約が残る。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、PRISMの仕組み
- 01四本の運搬動画
- 02別物体の動画生成
- 03接触を基に動作復元
- 04深度方策を学習
- 05物体を運搬
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
人型ロボットが物体へ近づき、持ち上げ、運ぶには、全身の移動と手の接触を協調させる必要がある。人の動画を手本にできるが、全身と物体のやり取りが見え、物体の種類も豊富な映像を集めるのは難しい。
少数の実演を増やしても、生成動画には姿勢や物体位置の誤差が入り得る。そのまま模倣して実機で動かせるとは限らず、物理的に成り立つ動作へ直す工程が要る。
手法
PRISMは、実写動画の物体を箱、球、容器、樽などに替える動画生成で、多様な人と物体の動きを作る。続いて、単眼動画から人、物体、カメラ、場面の位置と動きを共通の座標系に復元する。接触中は手と物体の相対位置を手掛かりに物体の軌道を補正し、ロボットの手が触れる点を保ちながら動作を変換する。
変換した軌道を使い、まず物体の状態まで見られる教師方策をシミュレーションで学習する。方策とは観測から次の動作を選ぶ規則である。その後、教師の動きを、実行時には機体の奥行き観測、関節情報、操作者の指示を使う一つの方策へ移し、実機で把持・運搬・投下を行う。
新規性
PRISMは、少数の人の実写動画から、別の物体を扱う反実仮想の動画を生成し、人型ロボットの訓練データへ変える。反実仮想とは、元動画では起きていないが、物体を替えたら起こり得る動きを描くという意味である。
特徴は、人と物体の接触位置を、動画からの動作復元、ロボット向けの動きへの変換、方策の学習に共通の手掛かりとして使う点にある。映像の見た目だけでなく、物体を持ち上げて運べる動きへつなげている。
従来手法との違い
著者らは、動画から物体形状と姿勢を推定して追跡し、そのまま動作を変換する基準構成を用意した。接触に基づく物体姿勢の復元、接触位置を守る動作変換、接触報酬を順に追加し、各部品がシミュレーションでの成功率にどう影響するかを比べた。
別の人間と物体の動作データOMOMOで訓練した方策とも比べた。ただし比較ごとに使うデータと評価条件が異なるため、数値は各表の条件の中で読む必要がある。
実験結果
著者らは四本の実写動画から256本の生成動画を作り、137本の実行可能な軌道と129本の成功した教師実行を得た。シミュレーションのPRISM内対象では、基準構成の成功率22.50％が、接触に基づく復元・変換・報酬を加えると96.25％になった。対象外物体では12.50％から72.92％だった。
実機では各物体を五回試し、把持後に少なくとも3メートル運べた場合を成功とした。箱は15回中15回、球は15回中12回、対象外のヘルメットは五回中三回成功した。実機での追加学習は行っていない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：倉庫内で形の違う空箱や容器を指定位置へ運ぶ作業を、研究用の人型ロボットで試す。入力は、全身と物体の接触が見える少数の実演動画と対象物の種類、実行時の奥行き画像と移動指示である。
動画から候補動作を作り、シミュレーションで物体をつかみ、運び、置く一連の動作を学習する。出力は実機の移動・把持動作と成功記録とし、対象物ごとの失敗を次の動画収集に反映する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象を一種類の剛体容器に絞り、全身と手元が見える実演動画を撮る。元動画から得た軌道だけで学ぶ構成を基準に、動画生成と接触を使った復元を加えた構成を同じシミュレーション課題で比較する。
把持、三メートル運搬、指定位置への配置を別々に記録し、物体の向きと開始距離を変えて成功率を測る。実機へ移す前に、復元した接触点と軌道が物理的に無理のない動きかを確認する。
限界と課題
著者らは、単眼動画からの人・物体・場面の復元に誤差が残り、接触を保てない動作が訓練データへ伝わると述べる。四本の元動画から256本を生成したが、実行可能な軌道は137本で、訓練量の拡大傾向を論じるには不足するとしている。
物体は剛体として扱い、個別の表面性質や内部の重さの分布は推定しない。編集上は、現場の物体が変形したり関節を持ったりする場合の成功率、深度推定のずれ、安全な停止条件を別途確かめる必要がある。
出典
元のタイトル・要旨を確認する（英語）
Counterfactual Video Generation Enables Scalable Humanoid Loco-Manipulation
Teaching humanoids loco-manipulation skills, such as carrying diverse objects, via visual imitation is a promising path toward generalist robots. However, collecting diverse, high-quality interaction videos, such as clips that clearly show a person's full body and unoccluded interactions with objects, poses a practical barrier to scaling this approach. We propose PRISM, a real-to-sim-to-real framework that overcomes this limitation by amplifying a handful of real videos into a large, diverse training set. PRISM first generates hundreds of diverse "counterfactual" human-object interaction videos via video-to-video (V2V) generation from a few exemplar real videos. Our contact-anchored real-to-sim pipeline then reconstructs both human and object motions, retargeting this imperfect video data into physically plausible trajectories. The intra-class variability across these counterfactual videos lets us train a single policy that generalizes to unseen objects within each category. We demonstrate the full pipeline by deploying this policy on a real robot without any real-world fine-tuning. Using only onboard depth observations, our humanoid picks up, carries, and drops objects, including boxes, barrels, bins, and balls, across novel instances, sizes, and initial configurations.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集：2026-10-01