新着研究 / Robotics / AI Agent
RPGはシミュレーションの失敗から技能と指示を直し、ロボット実行を改善する
RPG
RPGの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 2: RPG uses privileged execution and video analysis to guide skill development. The top row shows source scenes alongside representative simulation practice tasks. The Runtime Agent and Privileged Agent share the same model and skill library, but only the latter receives simulator state S t S_{t} in addition to robot observations O t O_{t} . For development tasks, the Video Analyzer compares the two agents’ execution records with available videos from the offline dataset to diagnose failures. The Implementor develops new skills, refines existing skills, and revises the system prompt. Candidate changes are evaluated across tasks. The Merger combines selected revisions, and the resulting system is retested before retention.
概要
- モデル重みを変えず、再利用する技能とシステム指示を練習結果から修正する。
- 22課題で15回の練習後に成功率95.0％を報告した。
- 実機は共通の校正と適応後、3課題各10回の計30試行に成功したという。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、RPGの仕組み
- 01過去の操作データ
- 02シミュレーション練習
- 03失敗診断と技能改訂
- 04検証後の実機実行
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
RPGは、ロボットの失敗をシミュレーションで診断し、実行システムの技能と指示を改善する。複数の操作課題を扱うには、視覚認識と制御をつなぐ技能を作り、失敗に応じて維持する作業が必要になる。
そのすべてを人が個別に直す負担を減らすため、既存の操作記録から練習課題を作り、自動で改良候補を検証する。モデル重みの再学習ではなく、モデルが使う技能ライブラリーとシステム指示を更新する方法である。
手法
まずオフラインのデータから操作能力を見つけ、関連する練習課題をシミュレーションへ構成する。練習時には実行結果に加え、シミュレーター内部の状態と利用可能な動画を使い、どこで失敗したかを診断する。内部状態は通常の実機観測より詳しいため、改良段階を支える特別な情報として扱われる。
診断に基づいて、新しい記号的な技能を作る、既存技能を修正する、システム指示を書き直すという変更を行う。各候補と統合した版を課題横断で評価してから保存する。実行時のマルチモーダルLLMは、得られた指示と技能を使って認識とロボット制御を調整する。
新規性
特徴は、練習環境の詳しい状態と既存動画を診断へ使い、重みを固定した実行システムを改善する点だ。成功した軌道を足すだけではなく、共有技能の実装や観察と行動の進め方も修正する。
変更を一つずつ評価し、統合後にも検証することで、ある課題の修正が別の課題を壊す可能性へ対処する。学習という語を重み更新に限定せず、技能と指示の蓄積として実現している。
従来手法との違い
著者らはASPIREとCaP-Agent0などを比較し、動画分析や詳しいシミュレーター状態の利用を外した実験も行う。5回の練習で完全版は78.2％、動画分析なしは51.8％、内部状態側の診断なしは50.9％だった。
本文では指示の変更だけでも大きく成績が変わった回があるが、その変更は観察予算の使い方も変えている。一つの文言だけの効果とは解釈せず、実行行動全体の変化として説明される。
実験結果
著者らは22操作課題の未使用の初期状態で、1回目の練習後の63／220成功、28.6％から、15回後の209／220成功、95.0％へ改善したと報告する。比較相手はASPIREが75.5％、GPT-6 Astra Proを使うCaP-Agent0が60.0％だった。
共通の校正と機体適応の後、固定したシステムは3課題各10回、計30の実機試行すべてに成功したという。実機の結果はこの限定した課題数と試行数の実証であり、一般的な成功保証ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：製造工程の部品配置を担当する実行エージェントで、失敗ログを技能改良へつなげる。入力は操作動画とシミュレーションの状態、出力は改訂した配置技能と検証結果とする。
例えば位置推定のずれで挿入に失敗したとき、再観察と操作をどの順に行うかを修正する。現場へ出す前に、既存の別部品の課題でも成績が落ちないかを確認する運用が考えられる。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：少数の操作課題と未使用の初期配置を用意し、変更前の成功率を測る。改良候補は一つずつ評価し、複数変更をまとめた版にも同じ検証を行う。
技能数、修正件数、観察回数、課題別の失敗を記録する。練習中だけ使える内部状態と実行時の観測を明確に分け、実機では得られない情報が最終技能へ紛れ込んでいないかを確かめる。
限界と課題
本文では成績が毎回上がるわけではなく、開発用の検証に通った変更でも評価側の成功数が減った回がある。15回後の11失敗中7件はタオル折りで、変形する物体の操作が残る課題とされる。
編集上の確認点は、練習環境の再構成費用、実機の校正手順、長期間の技能改訂での退行である。取得本文は途中までであり、30回の実機成功を幅広い対象や機体へそのまま広げることはできない。
出典
元のタイトル・要旨を確認する（英語）
Reconstruct, Practice, Go Real: Guided Self-Improvement for Embodied Agents
Building reliable robot capabilities across diverse tasks requires substantial human effort to develop and maintain skills, design rewards, and integrate perception with control. We present Reconstruct, Practice, Go Real (RPG), a framework for autonomous improvement of robot execution systems without updating model weights. RPG identifies manipulation capabilities in an offline dataset and constructs related practice tasks in simulation. During practice, RPG uses execution feedback, privileged simulator state, and available dataset videos to diagnose failures. It develops new reusable symbolic skills, refines existing skills, and revises the system prompt based on these diagnoses. Cross-task evaluation tests individual candidate changes and merged revisions before they are retained for reuse. At test time, a multimodal LLM uses the resulting system prompt and skill library to coordinate perception and robot control. On held-out initializations of 22 manipulation tasks, RPG improves task success from 28.6% after the first practice round to 95.0% after 15 rounds, outperforming all evaluated baselines, including ASPIRE (75.5%) and CaP-Agent0 powered by GPT-6 Astra Pro (60.0%). After a common calibration and hardware-adaptation procedure, the frozen system succeeds in all 30 physical trials, with ten trials on each of three tasks. Project Website: https://rpg-robot.github.io/
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集：2026-10-03