アーカイブ / Robotics
自転車の姿勢と操舵を学習で制御するCycleRL：シミュレーションから実車への移行
CycleRL
概要
- IMU・エンコーダの観測値と目標指令から操作を選ぶ方策を、Isaac Sim上で学習する。
- 著者らのシミュレーション比較表では、姿勢維持成功率はCycleRLが99.9％、PIDが76.5％、LQRが93.2％だった。
- 実車への移行は報告されているが、確認できた本文の範囲では実車試験の条件別結果を確認できず、本文と表の一部数値にも不一致がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、CycleRLの仕組み
- 01IMU・エンコーダ値と目標指令
- 02学習済み方策で操作を選択
- 03車体へ操舵指令
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
CycleRLは、センサの観測値から自転車の操作を決め、姿勢を保ちながら目標の速度と方向へ走らせる手法である。自転車は傾き、操舵、速度が互いに影響するため、進路を合わせる操作が姿勢にも影響する。
著者らは、従来の制御では車体モデルの誤差や実環境の変化が課題になると説明する。特に低速時の不安定さと、シミュレーションと実車のわずかな物理的差が、学習した操作を実車へ移す際の問題となる。
手法
CycleRLは、IMUとエンコーダの観測値を、その時点の車体状態として扱う。目標速度や方向の指令と合わせてニューラルネットワークへ入力し、操舵に使う操作を選ぶ。例えば目標方向が変わると、現在の傾きや速度を踏まえた指令を出す。深層強化学習とは、試行の結果に与える報酬を使い、この操作の選び方を学ぶ方法である。
学習はIsaac Sim上の自転車モデルで行い、PPOという、操作の選び方の更新幅を抑える手法を使う。倒れずに走ること、速度と方向を合わせることを報い、大きな操作や急な操作変化には罰を与える。さらに車体の質量、重心、摩擦、センサ雑音、開始姿勢、目標指令を変える「ドメインランダム化」で、多様な条件を経験させる。
新規性
著者らは、操舵で姿勢を保つ自転車について、シミュレーションで学んだ深層強化学習の制御方策を実車へ移す枠組みを提案する。方策とは、観測値を受けて操作を選ぶ規則である。
姿勢維持、速度と方向への追従、操作の滑らかさを一つの学習目標にまとめた。物理条件、開始姿勢、目標指令を学習中に変え、制御時に車体の厳密な運動方程式を使わずに済む構成を狙っている。
従来手法との違い
著者らはシミュレーションで、調整済みのPID制御器と、線形化した車体モデルを使うLQR制御器をCycleRLと比較した。PIDは誤差に応じて操作を調整し、LQRはモデルを用いて操作を決める方法である。
比較表の姿勢維持成功率はPIDが76.5％、LQRが93.2％、CycleRLが99.9％だった。操舵追従誤差は順に4.04度、1.82度、1.15度と報告される。これらは掲載されたシミュレーション条件での比較であり、実車で三者を比較した結果ではない。
実験結果
著者らはシミュレーションで独立した1,000試行を行い、PIDとLQRを比較対象とした。比較表ではCycleRLの姿勢維持成功率が99.9％、操舵追従誤差が1.15±0.72度、速度追従誤差が0.18±0.26 m/sと報告される。速度誤差については比較対象の数値が表にない。
著者らは実車への移行、30分を超える連続姿勢維持、50 Hzの制御ループも報告する。ただし、確認できた本文の範囲では、実車試験の試行数や条件別の結果表は確認できない。本文と比較表で食い違う姿勢回復時間などの数値は、ここでの性能比較に用いなかった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：閉鎖された構内で、自転車型試験車に指定速度と進行方向を与え、傾きなどを測るIMUと、回転を測るエンコーダの値から操舵指令を出す。出力した指令と実際の走行を記録し、姿勢と指令への追従を確認する。
学習には対象車体の質量、重心、摩擦、操舵特性を反映したシミュレーションと、速度・方向の目標指令が要る。正解操作を人が付ける教師ラベルは想定せず、実走のセンサ値と応答を使って学習条件のずれを調べる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象車体の質量、重心、摩擦、操舵特性を測り、IMUとエンコーダの走行記録を集める。速度・方向の目標指令を用意し、シミュレーションで姿勢維持と追従を報酬に設定する。正解操作の教師ラベルは用意せず、実測した応答に照らして物理条件とセンサ雑音の変動幅を調整する。
閉鎖区域で同じ指令列と開始条件を使い、CycleRLと調整済みPIDを比較する。姿勢維持成功率、操舵・速度の追従誤差、応答時間を記録し、速度帯と開始時の傾きごとに集計する。シミュレーションと実走の差も測り、対象車体への適合を判断する。
限界と課題
著者らは、実車移行の課題として物理条件の差、センサ雑音、外乱を挙げ、条件を変えながら学習させている。実車への移行と30分を超える連続姿勢維持も報告するが、確認できた本文の範囲では実車試験の条件別結果表を確認できない。
編集上の検証事項として、姿勢回復時間は本文の1.51秒と比較表の1.05±0.18秒が一致しない。LQRの限界傾斜角も本文と表で異なる。また、1.15度の誤差は比較表では操舵追従、要旨では進行方向の追従として記される。各指標の測り方と実車での再現性を確認する必要がある。
出典
元のタイトル・要旨を確認する（英語）
CycleRL: Sim-to-Real Deep Reinforcement Learning for Robust Autonomous Bicycle Control
Autonomous bicycles offer a promising agile solution for urban mobility and last-mile logistics. However, conventional control strategies often struggle with underactuated nonlinear dynamics, suffering from sensitivity to model mismatches and limited adaptability to real-world uncertainties. To address this, we develop CycleRL, a comprehensive sim-to-real framework for robust autonomous bicycle control. Our approach establishes a direct perception-to-action mapping within the high-fidelity NVIDIA Isaac Sim environment, leveraging Proximal Policy Optimization (PPO) to optimize the control policy. The framework features a composite reward function tailored for concurrent balance maintenance, velocity tracking, and steering control. Crucially, systematic domain randomization is employed to reduce the reliance on precise system modeling, bridge the simulation-to-reality gap and facilitate direct transfer. In simulation, CycleRL achieves promising performance, including a 99.90% balance success rate, a heading tracking error of 1.15°, and a velocity tracking error of 0.18 m/s. These quantitative results, coupled with successful hardware deployment, validate DRL as an effective paradigm for autonomous bicycle control, offering superior adaptability over traditional methods. Video demonstrations are available at https://cpnt-lab.github.io/CycleRL/.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01