アーカイブ / Robotics
少数の選好比較でロボットの動き方を調整するFLoRA
FLoRA
FLoRAの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1 : Style Adaptation of Robotic Behavior. We focus on the style adaptation of pre-trained robot behavior, where the goal of the adaptation is to adjust the behavior of the agent accordingly to human preferences, while still being able to perform the original task: (a) a four-legged mobile robot is pre-trained to follow behind a human user; (b) we collect a small number of novel human preferences (e.g., following the user on his right) to train a reward model and the adapted policy of the robot, while maintaining the ability to follow the human and avoiding collisions; c) we execute the style-adapted policy following the human preferences.
概要
- FLoRAは事前学習済み報酬モデルを固定し、少数の選好比較から低ランクの追加重みを学習する。
- 著者らの実機Spot-Follow評価では、20試行の近接衝突率はFLoRA 10％、SURF 40％、Fine-tuning 20％だった。
- 実機の選好判定には合成の判定器を使用しており、利用者のラベルを使った現場での検証が必要である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、FLoRAの仕組み
- 01二つの行動記録
- 02選好ラベル
- 03追加重みを学習
- 04適応した追従行動
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
FLoRAは、学習済みロボットに元の仕事を続けさせながら、動き方を利用者の好みに合わせる方法だ。例として、人を追う四脚ロボットを、人の後ろから右側へ移す場合がある。好みを集めるには、二つの行動記録を比較してもらう必要があり、時間がかかる。
比較結果が少ないまま行動の良さを数値化する「報酬モデル」全体を更新すると、新しい好みに偏り、元の仕事を適切に評価できなくなる場合がある。著者らはこの問題を「報酬の破滅的忘却」と呼ぶ。
手法
まず、ロボットの状態と動作から行動の良さを数値化する「報酬モデル」と、次の動作を決める「方針」を事前に学習する。新しい好みを集める際は、短い行動記録を二つ示し、どちらを好むか、または同程度かというラベルを得る。例えば、人の後ろを進む記録と右側を進む記録を比較する。
FLoRAは元の報酬モデルの重みを固定し、少数の値で更新を表す「低ランク」の追加重みだけをラベルから学習する。報酬の計算では、元の重みと追加重みの結果を合わせる。その報酬を使って方針を調整し、元の追従と右側を進む好みの両方に対応する行動を目指す。
新規性
FLoRAは、事前学習した報酬モデルの重みを固定し、利用者の新しい好みを表す低ランクの追加重みだけを学習する。元の仕事の評価が新しい好みに引きずられる「報酬の破滅的忘却」を抑えるための構成だ。
著者らは、ロボットの事前学習済み行動の調整に低ランク適応を用いる最初の研究だと位置づける。追加重みは元のモデルと同じ入力を受け、両者の計算結果を合わせて報酬を求める。
従来手法との違い
比較対象は、報酬モデル全体を更新するFine-tuning、選好データを補うSURF、元の学習データも使うCo-trainingである。FLoRAは元の重みを固定し、新たな選好に対する追加重みを学習する。Co-trainingと違い、適応時に元の学習データを使わない。
著者らのシミュレーション結果では、元の仕事の報酬と好みに沿う動きの報酬について、最良の方法は課題や選好数で変わる。FLoRAが両方の報酬で常に最高だったという結果ではない。
実験結果
著者らはシミュレーションでWalker、Cheetah、Quadruped、Button-Press、Button-Press-Wall、Drawer-Closeを評価した。選好ラベルは設定した報酬から合成し、約10％の誤りを加えている。元の仕事と好みに沿う動きの報酬は、五つの乱数条件の平均で報告した。
実機Spot-Followの20試行では、成功率がFLoRA 65％、SURF 75％、Fine-tuning 10％、近接衝突率が順に10％、40％、20％だった。実機の引き出し閉めの６試行では、押し込み距離が順に2.58、1.40、0.05 cm、先端の動作速度が0.018、0.029、0.023 m/sと著者らは報告した。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：人を追う四脚ロボットに、人の右側を進む好みを反映する。入力は、追従用に学習済みの報酬モデル、位置関係を含む状態と動作の記録、二つの短い走行記録を比較した担当者の選好ラベルとする。
記録の組を比較してラベルを集め、追加重みを学習し、その報酬で行動方針を調整する。出力は右側での追従行動を想定する。相対位置を測るセンサー、必要な状態の記録方法、衝突回避を保てるかは現場で確かめる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：まず、追従用に学習済みの報酬モデルと、学習時に使った状態・動作の項目を確認する。人との相対位置とロボットの動作を記録できるセンサーを確かめ、右側とそれ以外を進む短い記録を集める。担当者が記録の組に選好ラベルを付ける。
同じラベルでFLoRAと報酬モデル全体の更新を行い、それぞれの報酬で方針を調整する。同じ条件の試行で、右側を進む割合に加え、追従の成功率、近接衝突率、終了時の人との距離を測る。元の追従性能と好みへの適合を別々に判定する。
限界と課題
著者らが報告した限界として、実機の引き出し閉めでは、実物とシミュレーションのばね機構の物理的な差により、どの方法も完全には閉められなかった。また、Spot-Followの成功率はFLoRAが比較手法中で最高ではない。
編集上の検証事項は、実際の利用者が付けた選好ラベルでも追従と衝突回避を保てるかという点だ。確認できた本文の範囲では、実機課題の選好質問には合成の判定器を用いている。利用者や環境を変えた場合の結果も別途確認したい。
出典
元のタイトル・要旨を確認する（英語）
FLoRA: Sample-Efficient Preference-based RL via Low-Rank Style Adaptation of Reward Functions
Preference-based reinforcement learning (PbRL) is a suitable approach for style adaptation of pre-trained robotic behavior: adapting the robot's policy to follow human user preferences while still being able to perform the original task. However, collecting preferences for the adaptation process in robotics is often challenging and time-consuming. In this work we explore the adaptation of pre-trained robots in the low-preference-data regime. We show that, in this regime, recent adaptation approaches suffer from catastrophic reward forgetting (CRF), where the updated reward model overfits to the new preferences, leading the agent to become unable to perform the original task. To mitigate CRF, we propose to enhance the original reward model with a small number of parameters (low-rank matrices) responsible for modeling the preference adaptation. Our evaluation shows that our method can efficiently and effectively adjust robotic behavior to human preferences across simulation benchmark tasks and multiple real-world robotic tasks.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01