アーカイブ / Robotics
拡散方針の動作を物理制約に合わせて後学習するPACT
PACT
PACTの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Physical safety alignment for diffusion-based manipulation. PACT aligns a pretrained diffusion policy in a post-training stage using self-rollouts and continuous constraint supervision throughout the diffusion process in a self-evolving manner without external demonstrations or rewards . Top right: PACT improves both task performance and safety in simulation and real-world settings, resolving the safety–performance trade-off. Bottom: GPU assembly requiring millimeter-level precision, PACT enables emergent fine-grained correction behaviors that adjust trajectories into feasible regions, ensuring accurate and safe insertions.
概要
- PACTは、学習済み拡散方針を自己生成軌跡と安全コスト関数で後学習する。
- RoboTwinの７作業の平均で、DPの成功率は45％から73％、安全率は41％から65％に変化した。
- 導入前には制約関数と必要な状態計測を定め、同じ作業条件で成功と違反を測る必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、PACTの仕組み
- 01学習済み方針
- 02自己生成軌跡
- 03制約勾配の教師
- 04調整済み方針
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
PACTは、ロボットの拡散方針が作る動作を物理的な制約に合わせて調整する手法である。拡散方針とは、雑音を段階的に除いて動作を生成するモデルを指す。元の方針が作業をこなせても、衝突や過大な力などを避ける条件を満たすとは限らない。
物の受け渡しや組み立てでは、危険な動作が作業の失敗につながる。安全条件を最初の学習に組み込む方法には作業ごとの設計が必要で、実行時に動作を遮る方法には状態の監視が必要になる場合がある。
手法
まず、現在の方針を動かして状態と動作の軌跡を集める。衝突や位置合わせなどの違反を数値化する、微分可能な安全コスト関数を用意する。その勾配、つまりコストが変わる方向を元の方針の予測に加え、安全な動作を促す「教師」を作る。学生となる拡散方針は、この教師の予測に近づくよう学習する。
学習では制約を段階的に強め、各段階で軌跡の収集と方針の更新を繰り返す。元の動作分布から離れすぎない目標を表すために、二つの分布の差を測る逆向きのKLダイバージェンスを用いる。実装では、雑音を除く工程のうち最後の数段階で制約勾配を注入する近似を使う。例えば位置合わせのコストで受け渡し動作を調整できる。
新規性
PACTは、学習済みの拡散方針を、元の実演データや作業報酬を使わず、方針自身が生成した軌跡と安全コストで調整する。制約から得た修正方向を動作生成モデルへ学習させる点が中心だ。
制約を段階的に強め、途中の方針が急に変わる問題にも対処する。著者らの理論結果は、安全コストが有界で、各段階の目的を解くなどの条件の下で、方針の変化量を抑え、期待コストが増えないことを示す。
従来手法との違い
比較の基準となるのは、PACT適用前の学習済み方針である。RoboTwinの表にはDP、DP3、RDT-1B、π0.5それぞれの適用前後が載るため、同じ基礎モデルに後学習を加えた変化を読める。
本文は、学習時に安全条件を組み込む方法や、実行時に危険な動作を遮る方法との違いも説明する。PACTは制約からの情報を方針自体に学習させる。著者らは強化学習による安全調整法との学習効率比較にも言及するが、その条件と数値は確認できた本文の範囲では分からない。
実験結果
著者らは、二腕操作のRoboTwinにある７作業について、成功率と安全率を報告する。表の平均では、DPは成功率45％から73％、安全率41％から65％に変化した。DP3は成功率27％から43％、安全率32％から41％で、いずれも各基礎方針へのPACT適用前後の値である。
要旨では、シミュレーションと実機の操作課題を通じ、安全違反が平均31.0％減り、作業成功が30.7％改善したと著者らは述べる。この集計の分母や実機の試行条件は、確認できた本文の範囲では特定できない。表の安全率と要旨の違反減少率は別の報告値として扱う。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：二腕ロボットによるブロックの受け渡しを一作業に絞る。入力は学習済み拡散方針、自ら生成した状態・動作の軌跡、受け渡し時の位置合わせを数値化した微分可能な制約関数とし、出力を調整後の方針とする。
元の方針を作る学習データは別途必要だが、PACTの後学習に元の実演データや作業報酬ラベルは使わない。制約計算に物体姿勢が必要なら、その状態を取得する計測手段を用意する。成功と制約違反の判定記録は評価用に集める。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：二腕のブロック受け渡しを一つ選び、既存の学習済み拡散方針を基準にする。後学習には方針自身の状態・動作軌跡と、位置合わせの誤差を計算できる微分可能な制約関数を用意する。元の実演データや作業報酬ラベルは後学習に使わない。
制約計算に要る物体姿勢と、その取得に必要な計測手段を先に確認する。制約を段階的に強めて方針を調整し、同じ作業条件で適用前後の成功率、安全率、違反の種類を記録する。評価用の成功・違反ラベルと判定基準も明示する。
限界と課題
著者らは、制約を急に強めると、途中の方針が元の動作分布から離れ、作業能力を失う場合があると説明する。段階的な調整はその対策である。理論上の改善には安全コストの有界性などの条件があり、個々の実行で違反が起きないという保証ではない。
編集上の検証事項は、制約関数が現場の危険を十分に表すか、学習時に必要な状態を取得できるか、成功率と違反率が対象作業でどう変わるかである。確認できた本文の範囲では、実機評価の試行数や失敗例の内訳までは分からない。
出典
元のタイトル・要旨を確認する（英語）
PACT: Self-Evolving Physical Safety Alignment for Diffusion Policies in Embodied Manipulation
Diffusion policies have achieved remarkable success in robotic manipulation, yet they often fail to satisfy strict physical constraints required for safe deployment. Existing approaches impose safety either prematurely during training or reactively via external guardrails at test time, limiting policy expressivity and overall scalability. We propose Physical safety Alignment for Constrained Trajectories (PACT), a self-evolving post-training framework that projects pretrained diffusion policies onto constraint-feasible regions without accessing demonstration data or task rewards. PACT distills constraint gradients into the diffusion model through a reverse-KL objective with dense supervision across timesteps. It incorporates a curriculum that progressively tightens constraints while maintaining theoretically bounded policy shift and monotone improvement, mitigating the safety-performance trade-off from catastrophic forgetting. On simulated and real-world embodied manipulation benchmarks, PACT significantly reduces safety violations by 31.0% on average while improving task success by 30.7%.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01