新着研究 / Robotics
実行できる全身動作へ拡散計画を調整するDiPLO、人型ロボットの運搬を二段階で改善
DiPLO
DiPLOの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 2 : Overview of the pipeline. (a) SBTO turns each IK-retargeted demonstration s I K s^{IK} into a set of dynamically feasible motions s D s^{D} , and symmetries further enlarge the data corpus. (b) The diffusion motion generator G ϕ G_{\phi} is pretrained to generate an n n -step feasible motion conditioned on the IK-retargeted motion prior, the state history and the goal, while the tracking policy π θ \pi_{\theta} is trained separately with RL to track s D s^{D} . (c) Self-distillation with SD:DPO removes the need for the task prior: the student G ϕ G_{\phi} , with the prior token nulled, rolls out with the frozen tracker π θ \pi_{\theta} ; each plan it produces is noised to a random denoising step k k and denoised twice by the same network, with and without s I K s^{IK} , and the student’s reverse kernel p ϕ p_{\phi} is matched to the self-teacher’s stop-gradient kernel sg ( p ϕ ) \mathrm{sg}(p_{\phi}) . (d) The distilled G ϕ G_{\phi} is then post-trained with DA:PPO, conditioned on the state history and the goal alone. In closed loop, G ϕ G_{\phi} plans n n steps, π θ \pi_{\theta} executes the first m ≤ n m\leq n of them, and G ϕ G_{\phi} re-plans from the reached state. DA:PPO credits the rollout reward R env R_{\mathrm{env}} to every denoising step of G ϕ G_{\phi} while π θ \pi_{\theta} stays fixed; the deployed pipeline runs the same loop without the reward.
概要
- 拡散モデルの動作計画と、強化学習した全身追従器を組み合わせる。
- 自己蒸留で参照動作への依存を減らし、固定した追従器の実行能力に計画を合わせる。
- 持ち上げ・運搬・配置で99%の成功を報告し、Unitree G1でも追加実機学習なしに反復実行した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、DiPLOの仕組み
- 01人由来の動作例
- 02拡散計画の事前学習
- 03自己蒸留
- 04追従結果で計画調整
- 05全身動作の実行
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
DiPLOは、人型ロボットが歩きながら物を扱うための動作計画を学ぶ方法である。歩行だけ、腕の操作だけを別々に成功させても、物を持ち上げて運び、姿勢を保って置くには全身の協調が必要になる。
人の動作例は手掛かりになるが、少量の例へ強く依存すると新しい物体の目標位置に対応しにくい。また、見た目に自然な計画でも追従器が実際に実行できるとは限らない。研究は参照例から離れることと、実行可能な計画にすることを段階的に扱う。
手法
人の動きをロボットの関節へ移した29系列、約2.7分を出発点に、軌道最適化と拡張で学習動作を作る。拡散プランナはノイズから少しずつ動作区間を生成し、下位の全身追従器がそれを実行する。
最初の追加学習SD:DPOでは、参照動作を使う教師から、状態履歴と物体の目標だけを受け取る生徒へ計画能力を移す。次のDA:PPOでは追従器を固定し、実行結果の報酬で計画を調整する。例えば目標まで箱を運ぶ際、途中の状態から短い計画を生成し直すため、初期計画を一度決めて最後まで流す構成とは異なる。
新規性
参照動作を使う事前学習が重要であるとした上で、配備時にはその強い参照条件を不要にする自己蒸留が特徴である。単に最初から参照を外すのでなく、教師の手掛かりを後から移す。
さらに、固定した追従器ができる範囲へプランナを強化学習で合わせる。追従できる動作を作ることと、物体を目標へ到達させることを別の課題として扱い、両者を後段の学習で接続している。
従来手法との違い
比較の中心は、事前学習だけのプランナと、自己蒸留・DA:PPOを通したプランナである。著者らは、事前学習時に強い課題条件を除いた場合、後から微調整しても同等の性能を回復できないと述べる。
これは少量の動作例と条件付けの使い方が重要であることを示す。結果の改善を、拡散モデルという形式だけの効果へ帰属させるのではなく、参照の使い方、自己蒸留、実行結果での調整を含む手順全体として読む必要がある。
実験結果
著者らは持ち上げ・運搬・配置の課題で成功率99%を報告し、事前学習モデルの45%と比較している。未見の物体目標への動作生成も調べ、蹴る、押す・引く課題の評価も行った。
実機ではUnitree G1にDA:PPOのプランナと追従器を載せ、実世界での追加学習なしに反復した成功動作を示した。ただし99%をそのまま実機の全条件の成功率と読めるわけではない。模擬課題の定量比較と、実機への配備実証は別の根拠である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：人型ロボットによる箱の運搬で、作業者が目的位置と向きだけを指定する補助操作を試す。入力は現在の状態履歴と箱の目標姿勢、出力は短い全身動作計画と、それを実行する関節指令とする。
荷物を置く位置を変えても毎回完全な参照動作を準備せず、計画を逐次更新する流れにする。最初は重量と作業範囲を限定した設備内で、追従器が実行できる範囲と目標指示の自由度を測る用途が考えられる。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：固定した少数の運搬条件で、事前学習のみ、自己蒸留後、強化学習後の三段階を比較する。成功率に加え、転倒、落下、目標位置の誤差、計画更新に要する時間を記録する。
同じ追従器を使い続け、計画側の変更で何が改善したかを確認する。未見の目標位置は学習範囲の内外を分け、実機では低負荷の条件から反復する。計画が作れることと、接触を含めて安全に実行できることを別々に合格判定する。
限界と課題
確認できた本文の範囲では、限られた人由来の動作と、特定の追従器・ロボット構成を使う。追従器を固定して適合させる利点は、その追従器の能力外の動作まで自動で獲得する保証にはならない。
編集上の確認点は、物体重量や摩擦、観測遅延、外乱を変えても追従が維持されるかである。Unitree G1での成功実演を、多様な現場条件での連続稼働や汎用的な全身操作の実証へ広げず、条件ごとの試験を積み重ねる必要がある。
出典
元のタイトル・要旨を確認する（英語）
DiPLO: Self-distilled Diffusion Planning for Loco-manipulation
Humanoid loco-manipulation is particularly challenging because it requires coordinating locomotion, balance, and object interaction, making it difficult to learn from limited demonstrations or from scratch through Reinforcement Learning (RL). We introduce DiPLO (self-distilled Diffusion Planning for Loco-manipulation), a framework that combines a self-distilled diffusion planner with a low-level whole-body tracking policy. Our planner is pretrained via supervised learning on motions derived from human-to-humanoid retargeting, while the tracker is trained via RL to execute them. DiPLO centers around two complementary post-training stages. First, we introduce Self-Distillation Diffusion Policy Optimisation (SD:DPO) to remove the planner's dependence on strong task conditioning, which we identify as a crucial ingredient for effective pretraining, as downstream fine-tuning does not recover comparable performance when it is omitted.. We then fine-tune this distilled model with Diffusion-Augmented Proximal Policy Optimization (DA:PPO), a maximum-entropy RL method for diffusion models, to improve task success and align generated plans with the frozen tracker's execution capabilities. Together, these stages enable motion generation through state-history and goal conditioning alone, enabling 99% task success in pick-carry-place tasks, compared to just 45% for the pretrained model. The resulting planner also generates motions for unseen object goals, with further evaluations on kicking and pushing/pulling tasks. Finally, we deploy our pipeline on the hardware, using our DA:PPO planner-tracker on a Unitree G1, achieving repeated successful executions without any real-world fine-tuning.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集：2026-10-20