アーカイブ / Robotics
基本制御に学習した補正を加える自律レース車の実機走行
RLPP
RLPPの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
(a) TC-Driver trajectories †
概要
- Pure Pursuitの操舵角・速度指令に、シミュレータで学習した補正を加える方式。
- F1TENTH実車の同一コースで、平均周回時間は14.35秒から13.60秒に短縮したと著者らは報告する。
- 実車では補正係数を調整しており、別の路面やコースでの性能には追加検証が要る。
補足:編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、RLPPの仕組み
- 01車両状態と前方コース
- 02基本の操舵・速度指令
- 03学習補正を加算
- 04操舵角・速度指令
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
自律レース車は、直線と曲がり角に合わせて操舵角と速度を短い間隔で決める。タイヤの挙動を使う制御法には調整や特性の同定が必要になる場合があり、幾何学的な基本制御だけでは高速の曲がり角で誤差が出る。
仮想環境で学んだ操作が実車で同じように働かない問題は、シミュレーションと実機の差と呼ばれる。車載の位置推定にも誤差があるため、実車で繰り返し周回できるかが重要になる。
手法
RLPPは、Pure Pursuit(前方の目標点へ車を向ける基本制御)の操舵角と速度に、強化学習器の補正を足す。学習器には参照線からの横ずれと向きの差、前後左右の速度、旋回速度、前方の参照線と左右境界を入力する。例えば短い直線へ入るとき、基本制御の速度指令を補正できる。
F1TENTHシミュレータでは、前進と速度を評価し、経路からのずれ、向きの差、境界衝突に不利な報酬を与えて学習する。報酬とは学習中の行動を評価する点数である。タイヤと路面の摩擦を変えて学習し、実車では学習器を再訓練せず、補正に掛ける係数を0.55に調整した。
新規性
RLPPは、タイヤ特性を使わないPure Pursuitに、強化学習で得た操舵角と速度の補正を加える。実車のタイヤ特性を制御則に組み込むための同定を要しない構成として、著者らは提示している。
学習はシミュレータで行い、実車で学習器を再訓練せずに補正係数を調整する。認識、計画、制御を車載側で実行するF1TENTH車両で検証した点も、この報告の範囲である。
従来手法との違い
比較の起点となるPure Pursuitは、前方の目標点へ向かう操舵角を幾何学的に求め、参照経路の速度を係数で調整する。RLPPはその二つの指令に学習器の出力を足す。単独の学習制御器TC-Driverも比較対象に含まれる。
タイヤ特性を取り込むMAPとMPCも、同じ実車コースで比較された。両者の平均周回時間はRLPPより短い。RLPPの周回時間の改善は、主にPure Pursuitとの比較として読む必要がある。
実験結果
著者らはF1TENTH実車の同一コースで各制御器を調整し、境界に衝突せず10周続けられることを目標に比較した。平均周回時間はPure Pursuitが14.35秒、RLPPが13.60秒で、著者らの算定では5.23%短縮した。最短周回時間での改善率は6.37%で、平均値とは別の指標である。
MAPとMPCの平均周回時間はそれぞれ12.60秒、12.75秒だった。著者らは、最短周回時間で見たPure Pursuitと両手法との差を、RLPPがそれぞれ52.9%、53.5%縮めたと報告する。TC-Driverは10周を続けられず、表の統計は4周分である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案:屋内の決まった周回路を走る小型車で、既存のPure Pursuitを補正する。入力には参照線、左右境界、参照速度、車両の位置・向き・前後左右の速度と旋回速度の推定値を使い、出力は操舵角と速度の指令とする。
学習には同じコースを表すシミュレータと車両モデルが要る。正解操作のラベルは用意せず、前進、速度、経路からのずれ、向きの差、境界衝突を評価して補正器を学ぶ。実車では車載の状態推定を接続し、補正量を調整する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案:参照線、左右境界、参照速度、車両の位置・向き・速度を車載で推定する手段をそろえる。本文は実車の状態推定に既存の仕組みを使うと記すが、ここで必要な個別のセンサーは指定できない。同じコースでPure Pursuit単独の周回時間、横ずれ、境界接触、連続周回数を記録する。
次に、コースと車両の挙動を表すシミュレータで補正器を学習する。正解操作のラベルは集めず、走行結果への報酬を用いる。実車では状態推定を接続して補正係数を調整し、同じ条件で平均・最短周回時間と連続周回数を比較する。
限界と課題
著者らは、Pure Pursuitの無滑り仮定が曲がり角では成り立ちにくいこと、シミュレータと実車の挙動に差があり補正係数を調整したことを述べる。走行軌跡の分析では、連続する曲がり角の一部でRLPPの横方向のずれが増えた。
編集上の検証事項は、別の路面やコースで連続周回できるか、車載の位置・状態推定の誤差が大きいときも補正が有効かである。確認できた本文の範囲では、これらの条件で同じ周回時間の改善が得られるとは判断できない。
出典
元のタイトル・要旨を確認する(英語)
RLPP: A Residual Method for Zero-Shot Real-World Autonomous Racing on Scaled Platforms
Autonomous racing presents a complex environment requiring robust controllers capable of making rapid decisions under dynamic conditions. While traditional controllers based on tire models are reliable, they often demand extensive tuning or system identification. Reinforcement Learning (RL) methods offer significant potential due to their ability to learn directly from interaction, yet they typically suffer from the sim-to-real gap, where policies trained in simulation fail to perform effectively in the real world. In this paper, we propose RLPP, a residual RL framework that enhances a Pure Pursuit (PP) controller with an RL-based residual. This hybrid approach leverages the reliability and interpretability of PP while using RL to fine-tune the controller's performance in real-world scenarios. Extensive testing on the F1TENTH platform demonstrates that RLPP improves lap times of the baseline controllers by up to 6.37 %, closing the gap to the State-of-the-Art methods by more than 52 % and providing reliable performance in zero-shot real-world deployment, overcoming key challenges associated with the sim-to-real transfer and reducing the performance gap from simulation to reality by more than 8-fold when compared to the baseline RL controller. The RLPP framework is made available as an open-source tool, encouraging further exploration and advancement in autonomous racing research. The code is available at: www.github.com/forzaeth/rlpp.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01




