アーカイブ / AI Agent / Robotics
学習途中の方策から未探索の候補を探すExploRLer
ExploRLer
ExploRLerの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2 : Comparison of training curves on MuJoCo environments across 3M steps.The solid and dashed lines show the average performance across 4 random seeds, with the shaded region indicating ±1 standard deviation, and with a smoothing window of length 100.
概要
- ExploRLerは反復末に保存した方策の周囲から候補を作り、環境で試して学習の再開点を選ぶ。
- 著者らの４シードの比較では、Hopperの最大平均リターンがPPOの2233.97±934.81に対し、ExploRLer-Pで3318.46±82.62だった。
- 候補生成に追加の勾配計算は要らないが、候補の試行は必要であり、導入時には総試行回数と実行時間も測る。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、ExploRLerの仕組み
- 01収集した行動履歴
- 02方策更新と保存
- 03ESAで候補生成
- 04３試行で再開点選択
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
ExploRLerは、強化学習で行動を選ぶ規則である「方策」の学習中に、見落とした候補を探す手法である。PPOとTRPOは、現在の方策で集めた行動データを使って更新するオンポリシー手法だ。
両手法が更新に使う代理目的関数は、実際に得られる報酬と方向がずれる場合がある。著者らは、学習途中の方策の近くにも高い報酬を得る候補が残り得ることに着目した。
手法
現在の方策で行動履歴を集め、PPOまたはTRPOで更新する。各反復の最後の方策を、設定値を保存した「チェックポイント」として残す。論文の実験では10反復ごとに、残した方策を探索の基点にした。
次にESA（空白領域探索法）で、保存した方策の周囲にある、まだ候補が少ない領域から新しい方策を作る。各候補を環境で３エピソード試し、割引しない報酬の平均が最も高い候補から学習を再開する。歩行課題なら、保存した歩行方策の周囲を試し、得られた報酬で次の出発点を決める。
新規性
ExploRLerは、各更新の方向を逐一補正する代わりに、複数の反復末に保存した方策を手掛かりに、その周囲を探索する。方策を評価してから学習の再開点を選ぶため、代理目的関数が示す更新方向だけに従わない。
著者らは、この処理をPPOとTRPOに組み込んだ。候補生成に追加の勾配計算は使わないが、候補を環境で試す必要がある。
従来手法との違い
基本の比較対象は、候補探索を加えないPPOとTRPOである。ExploRLerは通常の学習を続けながら、一定間隔で保存済み方策の周囲に候補を作り、試行結果を基に次の学習開始点を選ぶ。
著者らはMuJoCo環境で、チェックポイントの平均化、集団を使うPBT、更新単位で探索するGuided-ES、価値関数を探索するVFSとも比較した。これらは探索する対象やタイミングが異なり、結果は各実験条件の範囲で読む必要がある。
実験結果
著者らはPendulum、BipedalWalkerと、MuJoCoのAnt、Hopper、Walker2d、Humanoid、HalfCheetahで評価した。表の指標は最大平均リターンの４シードでの平均±標準偏差で、リターンは試行で得た報酬を表す。MuJoCoでは事前学習した方策から追加で200万ステップ学習した。
著者らの表では、HopperのPPOが2233.97±934.81、ExploRLer-Pが3318.46±82.62だった。一方、PendulumのTRPOは−222.28±97.21、ExploRLer-Tは−222.55±96.57である。表の全条件で改善したわけではなく、候補評価に使った試行も効率の判断に含める必要がある。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：脚式ロボットの歩行方策をシミュレーターで学習する。模擬センサーの関節位置や速度を方策へ入力し、動作後の報酬を含む行動履歴を集めて、次に試す歩行方策を出力する。
必要な学習データは対象環境で新たに集める行動履歴で、正解動作のラベルは前提としない。対象機体への適応には、利用するセンサー項目、行動の範囲、報酬、機体の動きを再現する条件を定める。実機での改善は仮説として検証する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：歩行シミュレーターで、対象機体に合わせた関節位置・速度などの模擬センサー値、行動、報酬を記録する。現在の方策から新しい行動履歴を集め、正解動作のラベルは使わない。方策の入力項目、行動範囲、報酬を課題に合わせて設定する。
同じ初期条件と学習ステップ数でPPO単独とExploRLer-Pを比べる。複数シードのエピソード報酬とばらつきに加え、候補評価を含む環境試行回数と実行時間を測る。模擬センサー値や報酬設定を変えて再測定し、結果がその設定に依存する度合いを確かめる。
限界と課題
著者らは、候補の評価にデータと計算資源が要ると述べる。各候補の順位付けには３エピソードを使う。また、方策と価値推定用のネットワークが密接に結び付くオフポリシー手法には組み込みにくく、SACへの適用例では効果が限定的だった。
編集上の検証事項は、報酬のばらつきが大きい環境で３エピソードの順位が安定するか、候補評価を含む総試行回数と時間が許容できるかである。事前学習量は本文中に「100万回の勾配更新」と「100万ステップ」の記述が混在するため、再現時には条件の確認が要る。
出典
元のタイトル・要旨を確認する（英語）
Efficient On-Policy Reinforcement Learning via Exploration of Sparse Parameter Space
Policy-gradient methods such as Proximal Policy Optimization (PPO) are typically updated along a single stochastic gradient direction, leaving the rich local structure of the parameter space unexplored. Previous work has shown that the surrogate gradient is often poorly correlated with the true reward landscape. Building on this insight, we visualize the parameter space spanned by policy checkpoints within an iteration and reveal that higher performing solutions often lie in nearby unexplored regions. To exploit this opportunity, we introduce ExploRLer, a pluggable pipeline that seamlessly integrates with on-policy algorithms such as PPO and TRPO, systematically probing the unexplored neighborhoods of surrogate on-policy gradient updates. Without increasing the number of gradient updates, ExploRLer achieves significant improvements over baselines in complex continuous control environments. Our results demonstrate that iteration-level exploration provides a practical and effective way to strengthen on-policy reinforcement learning and offer a fresh perspective on the limitations of the surrogate objective.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01