アーカイブ / Robotics / LLM / VLM
関節のある物体の模擬作業を生成し、実機の動作学習に使うGenSim2
GenSim2
GenSim2の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: GenSim2 introduces a scalable task and data generation framework in SAPIEN [ 1 ] for articulation objects with multi-modal and reasoning LLMs. The framework comprises three main stages: 1) (Top) We first generate large-scale robotics tasks and collect massive data with LLMs; 2) (Bottom-left) Then, we train a multi-task point cloud-based policy in simulation with imitation learning; 3) (Bottom-right) Finally, we zero-shot transfer the policy to the real world.
概要
- GenSim2は関節のある物体の模擬課題を作り、動作計画器や強化学習の解法で実演データを生成する。
- PPTは点群、ロボット自身の状態、作業文を入力に、複数作業の動作列を学習する。
- 著者らの実機8作業・各10試行では、平均成功率が実機データのみ0.363、模擬データとの併用0.575だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、GenSim2の仕組み
- 01作業文と物体素材
- 02課題コードと場面画像
- 03動作計画と模擬実演
- 04PPTの模倣学習
- 05実機の動作列
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
ロボットに異なる物体や配置での動作を学ばせるには、多様な実演が要る。実機での収集には手間がかかる一方、模擬環境でも作業場面や解法の作成に人手を要する。さらに、模擬環境で学んだ動作が実機に通じるか確かめる必要がある。
ふたや扉のように動く部分を持つ物体では、つかむ位置に加え、接触中の手先の位置と向きの変化が重要になる。GenSim2は、この種の作業と実演を生成し、複数作業の学習に使う。
手法
GenSim2は、既存の物体素材と少数の作業例を手掛かりに、言語モデルで短い作業文と模擬環境の課題コードを作る。「箱を開け、球を入れ、閉じる」ような作業は単純作業に分ける。コードを実行した画像と物体の要点を、画像も読める言語モデルに渡し、手先の目標姿勢と移動経路の条件を作る。動作計画器または強化学習の解法で課題を解き、実演を記録する。
次にPPTという動作方針を実演から学習する。PPTは点群（三次元の点の集まり）、ロボット自身の関節などの状態、作業文から動作列を予測する。模擬環境での学習時には点群を切り取り、点の欠落や位置の乱れを加える。実機では得られた点群の外れ値を除くなどして入力する。
新規性
GenSim2の主張する前進は、扉や箱のように動く部分を持つ物体について、課題コードの作成、解法による実演生成、複数作業に共通する方針の学習を一つの流れにつないだ点にある。
従来のGenSimが主に扱った上方からのつかみ置きより、接触を保ちながら手先の位置と向きを変える作業や、複数の手順が続く作業を対象に広げた。
従来手法との違い
課題生成の比較対象RoboGenは、作業ごとの報酬関数を生成し、強化学習で解法を得る。GenSim2の比較条件では、物体の要点に基づく動作計画器を使い、手先の位置と向きの経路を作る。
複数段階の課題については、既存の単純作業を組み合わせる方式と、課題を先に作ってから分解する方式も比べた。表にある解決率は生成課題の評価であり、RoboGenとの実機での優劣を示す値ではない。
実験結果
著者らは、関節のある物体の操作課題を100件超、物体35種・個体200点超で生成し、50件は複数段階と報告する。課題の解決率は単純作業でGenSim2が0.78、RoboGenが0.58。複数段階ではGenSim2の既存作業を組み合わせる方式が0.68、RoboGenが0.43だった。
実機8作業では、各作業の模擬実演100件と実機実演10件を用い、各10試行の成功率を評価した。著者らの表の平均は実機データのみ0.363、模擬データのみ0.425、併用0.575である。併用と実機のみの差は21.2ポイントだが、併用時に成功率が下がった作業もある。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：開閉できる収納箱に物を入れる作業を試す。元になる学習データとして少数の作業例と箱の模擬素材を用意し、作業文、可動部の要点、開閉や収納の成否を示すラベルを整える。生成した模擬実演を使い、点群と作業文から動作列を出す方針を学習する。
実機では深度を含む画像から作る点群と、関節などロボット自身の状態を入力する。箱の寸法や配置に合わせた模擬環境と点群処理の調整、少数の実機実演の収集が必要で、実機での改善は検証対象とする。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：一種類の収納箱を開ける作業に絞る。元になる少数の作業例と可動部を含む模擬素材を用意し、作業文、計画に使う要点、開いたかどうかの成否ラベルを定める。模擬実演を生成し、実機では深度を含む画像から得る点群と関節などの自己状態を記録する。
同じ箱と配置条件で、少数の実機実演だけで学ぶ方針を基準に、模擬実演を併用した方針と成功率を比べる。接触失敗や途中停止も記録する。実機の観測に合わせて点群処理と模擬環境の物体寸法を調整し、別の箱への適用は改めて評価する。
限界と課題
著者らは、基盤モデルの三次元空間に関する理解が足りず、意味のある課題やコードの生成を誤ること、複雑な作業の生成にはなお人の関与が要ることを限界として挙げる。学習済み方針を実機へ直接適用した範囲も、限られた点群観測を使う六自由度の作業である。
編集上の検証事項は、対象物の要点と生成課題の成否を安定して確認できるかである。実機評価では箱を開く作業の成功率が、模擬データと実機データの併用時に0.0だった。平均値だけでは見えない失敗を作業ごとに調べる必要がある。
出典
元のタイトル・要旨を確認する（英語）
GenSim2: Scaling Robot Data Generation with Multi-modal and Reasoning LLMs
Robotic simulation today remains challenging to scale up due to the human efforts required to create diverse simulation tasks and scenes. Simulation-trained policies also face scalability issues as many sim-to-real methods focus on a single task. To address these challenges, this work proposes GenSim2, a scalable framework that leverages coding LLMs with multi-modal and reasoning capabilities for complex and realistic simulation task creation, including long-horizon tasks with articulated objects. To automatically generate demonstration data for these tasks at scale, we propose planning and RL solvers that generalize within object categories. The pipeline can generate data for up to 100 articulated tasks with 200 objects and reduce the required human efforts. To utilize such data, we propose an effective multi-task language-conditioned policy architecture, dubbed proprioceptive point-cloud transformer (PPT), that learns from the generated demonstrations and exhibits strong sim-to-real zero-shot transfer. Combining the proposed pipeline and the policy architecture, we show a promising usage of GenSim2 that the generated data can be used for zero-shot transfer or co-train with real-world collected data, which enhances the policy performance by 20% compared with training exclusively on limited real data.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01