アーカイブ / Robotics
四回転ドローンの位置保持で、SACの行動のばらつきを自動調整する効果
Dynamic Entropy Tuning in Reinforcement Learning Low-Level Quadcopter Control
Dynamic Entropy Tuning in Reinforcement Learning Low-Level Quadcopter Controlの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Block diagram of low-level RPM controller
概要
- 著者らは、四つのモーター回転数を決めるSACで、行動選択のばらつきに関わる係数を学習中に自動調整した。
- シミュレーションの大きい開始位置範囲では、自動調整のみのSACに報酬曲線の低下が見られず、提示した範囲端と範囲外の位置から静止したと報告した。
- 報告は機体モデルを使った条件での結果であり、実機での性能や学習を繰り返した際のばらつきは別途確かめる必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Dynamic Entropy Tuning in Reinforcement Learning Low-Level Quadcopter Controlの仕組み
- 01機体状態と目標との差
- 02SACと係数を更新
- 03行動を回転数に変換
- 044基の回転数指令
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
四回転ドローンを指定位置で静止させるには、傾き、速度、目標との位置差に応じて四つのモーター指令を続けて決める必要がある。強化学習は、行動の結果に与える報酬を手掛かりに、その決め方を学ぶ方法である。
開始位置が変わっても制御できるかは、学習中にどの状態と行動を試したかに関わる。本研究は、行動選択のばらつきを学習中に自動調整することが、探索と位置保持にどう影響するかを調べた。
手法
制御器に入れるのは、姿勢、並進速度、角速度、現在位置と目標位置の差を合わせた12値である。出力する四つの行動は、値を一定範囲にそろえてから実際のモーター回転数へ変換する。例えば目標の横にずれた機体では、その位置差と機体の動きを入力し、各モーターへの指令を得る。
SACは「方策」と呼ぶ行動の選び方を確率分布として学習する。エントロピーは選択のばらつきの指標で、著者らはその目標値と現在の値の差に応じ、報酬とばらつきの重みを決める係数を更新した。報酬は目標までの距離に基づき、学習した方策で制御する際は確定的な行動を実行する。
新規性
著者らが検証したのは、四回転ドローンの四つのモーター回転数を直接決める制御で、SACのエントロピー係数を学習中に自動調整する効果である。係数を固定したSACや、決定的な方策を学ぶTD3と比較した。
確率的な方策を学習しても、制御時には確定的な行動を実行する条件を扱う。新たな制御構造の提案というより、学習時の探索方法が、このシミュレーションでの報酬と位置保持にどう表れるかを調べた研究である。
従来手法との違い
TD3は機体の状態ごとに一つの行動を選ぶ方策を学び、学習中は外部ノイズで行動を変えて探索する。SACは行動の確率分布を学び、報酬に加えて行動選択のばらつきも考慮する。
大きい開始位置範囲では、TD3のノイズ量を変えた条件と、SACの係数固定、自動調整、自動調整と外部ノイズの併用を比較した。著者らは自動調整のみのSACで、報酬曲線の低下が見られず、提示した範囲端の開始位置から位置保持できたと報告する。
実験結果
著者らはCrazeFlie2.0の機体モデルによるシミュレーションで、目標位置［0,0,1］への静止を評価した。小さい条件では開始位置の横方向を各−0.5～0.5、高さを0.5～1.5とし、TD3とSACを各400万ステップ学習した。報告された平均報酬曲線の最大値は、それぞれ約17万5000と約275万である。
大きい条件では横方向を各−2.5～2.5、高さを0.2～2.5に広げ、各400万ステップ学習した。著者らは、係数を自動調整し外部ノイズを加えないSACで報酬曲線の低下が見られず、提示した範囲端［−2.5,2.5,2.5］と範囲外［3.5,3.5,3］から目標に静止したと報告する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：指定位置に静止する四回転ドローンの制御候補を、対象機体のシミュレーションで選ぶ。入力は姿勢、並進速度、角速度、目標との位置差で、出力は四つのモーター回転数指令とする。
学習には機体の動きを表す環境と、そこで生じる状態・行動・報酬の履歴が必要になる。正解行動のラベルは用意せず、位置誤差に基づく報酬を設定する。実際に使うには各状態を得る計測手段と、対象機体に合わせた環境の調整が要る。この用途での改善は仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象機体を表すシミュレーションを用意し、姿勢・並進速度・角速度・目標との位置差を入力できるか確かめる。各値に必要な計測手段を整理し、環境内で状態・行動・報酬の履歴を集める。正解行動のラベルは不要だが、位置誤差に基づく報酬の設定が必要である。
開始位置と学習ステップをそろえ、自動調整SACを係数固定のSACとTD3に対して比較する。報酬曲線に加え、最終位置誤差、静止までの時間、衝突の有無を測る。実機への適用判断前には、計測誤差と機体モデルの差を環境に反映し、同じ指標で再評価する。
限界と課題
著者らは、大きい開始位置範囲で学習したTD3と、外部ノイズを併用したSACについて、学習後半の報酬低下を「破滅的忘却」として報告する。係数固定のSACでは、比較した条件で最大報酬が相対的に低かった。
編集上の検証事項は、学習を繰り返した場合の結果のばらつき、位置誤差や衝突を用いた評価、実機の計測誤差への耐性である。確認できた本文の範囲では、実機試験と試行間のばらつきの定量値は確認できない。
出典
元のタイトル・要旨を確認する（英語）
Dynamic Entropy Tuning in Reinforcement Learning Low-Level Quadcopter Control: Stochasticity vs Determinism
This paper explores the impact of dynamic entropy tuning in Reinforcement Learning (RL) algorithms that train a stochastic policy. Its performance is compared against algorithms that train a deterministic one. Stochastic policies optimize a probability distribution over actions to maximize rewards, while deterministic policies select a single deterministic action per state. The effect of training a stochastic policy with both static entropy and dynamic entropy and then executing deterministic actions to control the quadcopter is explored. It is then compared against training a deterministic policy and executing deterministic actions. For the purpose of this research, the Soft Actor-Critic (SAC) algorithm was chosen for the stochastic algorithm while the Twin Delayed Deep Deterministic Policy Gradient (TD3) was chosen for the deterministic algorithm. The training and simulation results show the positive effect the dynamic entropy tuning has on controlling the quadcopter by preventing catastrophic forgetting and improving exploration efficiency.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01