アーカイブ / Robotics
Oracleの教師信号で補正トルクを学ぶ二足歩行制御
Residual Reinforcement Learning with Model-Based Supervision
Residual Reinforcement Learning with Model-Based Supervisionの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: Residual Reinforcement Learning with Model-Based Supervision. Our framework integrates three key components: the Base Policy, the Oracle Policy, and the Residual Policy. The Base and Oracle policies are model-based controllers; however, the Oracle, only used in training, has privileged access to true system information, including the robot model, state, and motor parameters, while the Base Policy operates under an inaccurate dynamics model with realistic assumptions without access to the true system information (LP: low-pass filter). The learnable Residual Policy is trained to compensate for the model inaccuracies of the Base Policy. Crucially, the Residual Policy is guided by both the RL objective ℒ rl \mathcal{L}_{\text{rl}} and direct supervision from the Oracle Policy ℒ sup \mathcal{L}_{\text{sup}} , enabling efficient learning and improved robustness under real-world uncertainties.
概要
- 基本制御器の関節トルクに、学習した補正トルクを加える二足歩行制御を提案した。
- 訓練中は正確なシミュレーション情報を使うOracleの補正トルクを教師信号にする。
- 著者らのβ=1のシミュレーションでは、BORの5秒歩行成功率は評価した3機種すべてで100.0％だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Residual Reinforcement Learning with Model-Based Supervisionの仕組み
- 01状態と歩行指令
- 02基本トルク算出
- 03残差トルク算出
- 04合算トルク指令
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
関節トルクを直接指令する二足歩行では、関節の摩擦、駆動の遅れ、接地の変化などが動きに影響する。計算に使う機体モデルと実際の動きがずれると、計画した重心や足先の軌道を追いにくい。
モデルベース制御は歩行軌道の計画と全身の制御を組み立てられる一方、機体モデルと状態推定の精度に依存する。著者らは既存の制御器を土台にして、そのトルクでは補えない差を学習した補正トルクで扱う課題を設定した。
手法
基本制御器はDCMを使って歩行軌道を計画し、全身制御器で関節トルクを計算する。DCMは重心の位置と速度から歩行のバランスを捉える量だ。残差方策は、関節位置・速度、基本トルク、直前の指令、DCMと足先の軌道誤差の履歴を受け、基本トルクに加える補正トルクを出す。例えば足先が計画からずれた際に、この観測から補正を決める。
訓練では、機体の質量や関節摩擦、センサー雑音、駆動遅れなどをシミュレーション内で変える。これは領域乱数化と呼ばれる。正確な設定値と状態を知るOracle制御器のトルクから基本トルクを引いた差を教師信号とし、強化学習の目的と教師あり損失の両方で残差方策を更新する。実行時は基本制御器と残差方策を使う。
新規性
訓練中だけシミュレーターの正確な機体モデル、状態、モーター特性を参照できるOracle制御器を設け、そのトルクと基本制御器のトルクの差を残差方策の教師信号にした。Oracleは実行時の制御には使わない。
著者らは、この差を学ぶ教師あり損失を強化学習の目的に加えることで、報酬による誘導だけに頼る場合より補正動作を効率よく学べると主張する。評価では、補正トルクを学ぶ構成と、関節トルクを直接学ぶ構成も比較している。
従来手法との違い
モデルベース制御器（MBC）は、機体モデルから動きを計算する比較対象である。著者らはMBCの状態観測に低域通過フィルターをかけ、1000 Hzで動かした。提案法は基本制御器のトルクに、学習した補正トルクを加える。
残差強化学習の比較法ResRLは、教師あり損失を外すが、Oracleのトルクに近づける報酬は残す。模倣学習ILは強化学習の目的を外し、教師信号のみで学ぶ。ResRLとの比較はOracle情報の有無ではなく、損失と報酬という与え方の差を調べるものだ。
実験結果
著者らはMuJoCo上のKangaroo、Bruce、Unitree H1-2を評価した。成功率は、ランダムな速度指令に従い5秒間転倒せず歩けた試行の割合である。領域乱数化水準β=1では、基本制御器と残差方策を組み合わせたBORは3機種とも100.0％、MBCと基本制御器単独はいずれも0.0％だった。
同じ条件でResRLはKangarooが10.0％、BruceとH1-2が0.0％、ILは順に100.0％、70.0％、80.0％だった。Kangarooの乱数化水準別評価では、β=0.7の成功率はBORが100.0％、MBCが10.0％。これらは著者らが示したシミュレーション条件下の結果である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：屋内の二足ロボットに指定速度で歩かせる場面で、機体ごとのモデル誤差を補う。入力は関節位置・速度、基本制御器のトルク、直前の指令、重心の動きと足先の軌道誤差の履歴とし、出力を各関節に加える補正トルクとする。
必要なのは対象機の力学モデル、歩行の参照軌道、関節や胴体などの状態を得るセンサー記録である。訓練用の正解ラベルに当たる補正トルクは、シミュレーション内の正確な状態と設定値を使うOracleから作る。対象機の観測項目と制御周期への調整が必要で、歩行改善は検証すべき仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象機の力学モデルと歩行の参照軌道を用意し、関節位置・速度、胴体の状態、足先の動きを得るセンサー記録を集める。まず基本制御器だけを基準とし、シミュレーションの質量、摩擦、雑音、駆動遅れを対象機の測定範囲に合わせて調整する。
次に、シミュレーションの正確な状態と設定値を使うOracleから、補正トルクの教師ラベルを作って残差方策を学ぶ。同じ速度指令と変動条件で基本制御器単独、教師あり損失なし、提案構成を比べ、5秒歩行の成功率、DCMと足先の追従誤差を記録する。実機への適用判断には、シミュレーションとの差を別途測る。
限界と課題
確認できた本文の範囲では、報告された評価はMuJoCo上の3機種のシミュレーションであり、実機で同じ成功率が得られたという結果は示されていない。これは掲載範囲から確認できる評価の範囲であり、著者が明示した制約として述べるものではない。
編集上の検証事項は、実機のセンサー雑音、床の摩擦、駆動の遅れが訓練時の条件に収まるか、転倒時にどう停止するかである。対象機についてOracle用の正確なシミュレーション設定をどこまで用意できるかも確かめたい。示された数値を別の機体や床面へそのまま適用する根拠はない。
出典
元のタイトル・要旨を確認する（英語）
Efficiently Learning Robust Torque-based Locomotion Through Reinforcement with Model-Based Supervision
We propose a control framework that integrates model-based bipedal locomotion with residual reinforcement learning (RL) to achieve robust and adaptive walking in the presence of real-world uncertainties. Our approach leverages a model-based controller, comprising a Divergent Component of Motion (DCM) trajectory planner and a whole-body controller, as a reliable base policy. To address the uncertainties of inaccurate dynamics modeling and sensor noise, we introduce a residual policy trained through RL with domain randomization. Crucially, we employ a model-based oracle policy, which has privileged access to ground-truth dynamics during training, to supervise the residual policy via a novel supervised loss. This supervision enables the policy to efficiently learn corrective behaviors that compensate for unmodeled effects without extensive reward shaping. Our method demonstrates improved robustness and generalization across a range of randomized conditions, offering a scalable solution for sim-to-real transfer in bipedal locomotion.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01