アーカイブ / Robotics / Computer Vision
基準歩行に補正を加え、深度画像から障害物を避ける四足ロボット制御
FoPG RPL
FoPG RPLの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1 : We apply differentiable simulation to learn A: walking, B: vision-based local navigation, C: walking around obstacles - tasks involving ground contact and depth rendering (depicted red). Analytical first-order policy gradients train A and C in minutes and B in seconds. Video , Locomotion code
概要
- 固定した基準歩行に学習した補正を加え、深度画像と自己状態から四足ロボットの関節目標角度を出す。
- 著者らの秒速1メートルの模擬歩行実験では、残差の追加により最終報酬がSHACで60％、PPOで25％増えた。
- 画像を使う四足ロボットの回避方策は模擬環境で学習したが、著者らは統合した方策の頑健性に課題を報告している。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、FoPG RPLの仕組み
- 01深度画像と自己状態
- 02基準歩行を算出
- 03補正動作を加算
- 04関節目標角度
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、四足ロボットの基準歩行を出発点として、速度追従と障害物回避に必要な関節動作を学ぶ。足の接地で動きが急に変わるため、シミュレーション内の変化をたどって学習する方法でも、歩行方策の探索は難しくなる。
深度画像は、カメラから障害物までの距離を画素ごとに表す画像である。これを使う局所ナビゲーションでは、衝突より前の動作を回避の結果と結び付ける必要がある。歩行と視覚判断を同時に学べるかが、著者らの検討対象となった。
手法
まず、手設計の周期的な速歩を模倣する基準方策を学び、その重みを固定する。方策は観測から動作を決める規則で、残差方策は基準動作と自己状態を受けて補正を出す。四足ロボットの回避課題では16×12画素の深度画像も使い、基準動作と補正を足して関節の目標角度を出す。
補正の学習には、模擬軌道の動作と報酬の関係を逆にたどる一次方策勾配を用いる。歩行では、短い軌道より先の報酬を価値関数で見積もるSHACを採用した。例えば前方に障害物が見える場合、方策は画像と自己状態に応じた補正を出し、基準の歩行動作に旋回の動きを加える。
新規性
著者らは、固定した基準方策への補正を学ぶ残差方策学習と、シミュレーション内の動きを通じて勾配を求める一次方策勾配を組み合わせた。接地を伴う歩行で、基準動作の近くから方策を探す構成である。
さらに、深度画像を使う局所的な障害物回避と歩行を、一つの四足ロボット方策として学習した。点質量ロボットの検討では、機体の前に固定した仮想的な「鼻」の接触に罰則を与える方法も示した。
従来手法との違い
著者らは、視覚入力のない歩行で、基準方策を使わないSHACとPPO、および各手法に残差方策学習を加えた構成を比較した。SHACは短い模擬軌道の変化をたどって学び、PPOは試行で得た報酬から方策を更新する。
この歩行課題では、SHACへの残差追加は主に最終報酬を改善し、標本効率の改善は明確ではなかった。PPOでは両方が改善した。一方、残差付きPPOの最終報酬は残差付きSHACより高いと著者らは述べており、各手法の優位性は評価項目によって異なる。
実験結果
著者らは模擬環境で、視覚入力のない歩行、点質量ロボットの画像による回避、四足ロボットの画像による回避を評価した。統計は5回の学習試行に基づき、所要時間はNvidia 3060 TI上の値である。秒速1メートルの歩行では、残差追加により最終報酬がSHACで60％、PPOで25％増えた。PPOの標本効率は6倍になった。
点質量ロボットでは、SHACが5万シミュレーションステップ以内に回避を学んだ。四足ロボットでは、残差付きSHACの150万標本が約15分に相当し、PPOと残差付きPPOは1億標本以内に学習できなかったと著者らは報告する。これらは記載された模擬課題の結果である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：静止障害物のある倉庫内通路を想定し、四足ロボットに目標速度を与えて局所的な回避動作を試す。入力は前方の深度画像と関節・速度などの自己状態、出力は関節の目標角度とする。深度カメラと自己状態の計測が必要である。
学習には対象機体の模擬環境、基準歩行を作るための歩容目標、速度追従や接触を判定できる模擬情報を用意する。障害物の画像ラベルを前提とせず、通路の形状とカメラの視野に合わせて方策を調整する応用仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象機体の関節状態、速度、深度画像と接触を扱える模擬環境を用意する。手設計の歩容目標から基準方策を作って固定し、速度追従と接触に基づく報酬で残差方策を学ぶ。深度カメラと自己状態の計測条件を対象機体に合わせ、障害物の画像ラベルは前提としない。
同じ模擬環境と報酬で学ぶ残差なしのSHACを比較対象にする。複数の障害物配置で衝突率、速度追従、学習標本数を測り、配置を変えた場合の成績も確認する。実機への適用判断には、接地と深度計測の差を別途調べる。
限界と課題
著者らは、歩行と画像による回避を一緒に学んだ四足ロボット方策が局所的な解に収束し、個別に学習した歩行・回避の課題より頑健性が低いと報告する。また、視覚入力のない歩行では、残差付きPPOの最終報酬が残差付きSHACを上回ったと述べる。
編集上の検証事項は、模擬環境と実機との接地条件、深度画像、障害物配置の差である。確認できた本文の範囲では、実機の回避成功率や安全停止の性能は分からない。用途に応じて失敗条件と停止条件を定め、別途確かめる必要がある。
出典
元のタイトル・要旨を確認する（英語）
Residual Policy Learning for Perceptive Quadruped Control Using Differentiable Simulation
First-order Policy Gradient (FoPG) algorithms such as Backpropagation through Time and Analytical Policy Gradients leverage local simulation physics to accelerate policy search, significantly improving sample efficiency in robot control compared to standard model-free reinforcement learning. However, FoPG algorithms can exhibit poor learning dynamics in contact-rich tasks like locomotion. Previous approaches address this issue by alleviating contact dynamics via algorithmic or simulation innovations. In contrast, we propose guiding the policy search by learning a residual over a simple baseline policy. For quadruped locomotion, we find that the role of residual policy learning in FoPG-based training (FoPG RPL) is primarily to improve asymptotic rewards, compared to improving sample efficiency for model-free RL. Additionally, we provide insights on applying FoPG's to pixel-based local navigation, training a point-mass robot to convergence within seconds. Finally, we showcase the versatility of FoPG RPL by using it to train locomotion and perceptive navigation end-to-end on a quadruped in minutes.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01