アーカイブ / Robotics
予測が合わない局面で学習量を増やす、ロボットの継続的な運動学習
Free-Energy-Gated Plasticity
Free-Energy-Gated Plasticityの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Overview of the fully online learning loop and the offline evaluation pipeline. Left: each model update incorporates the newest sensory observation into the sliding past window, performs posterior-state inference through error regression, adapts the synaptic weights through gated BPTT, and generates a future trajectory for motor control and subsequent analysis. Right: saved trajectories are segmented and classified post hoc using the evaluation pipeline described in Sec. 3.3 . The evaluation pipeline does not feed information back into the online learning loop. The numerical settings used in the experiments are listed in Table 1 .
概要
- FEGPは、直近の観測に対する変分自由エネルギーを使い、対話中の結合の更新量を調節する。
- 著者らは、十本の教示系列と各五通りの初期値を用いた比較で、動作の再現範囲と保持の改善を報告した。
- 実機で教えた三種類の周期動作は自律生成軌道に現れたが、確認できた本文から改善幅の数値は示せない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Free-Energy-Gated Plasticityの仕組み
- 01両手先の姿勢観測
- 02直近の観測窓で推論
- 03自由エネルギーで更新調節
- 04手先目標姿勢を生成
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
人が腕を動かして教えるロボットが対話中も学習を続けると、新しい動作を覚える一方で、以前の動作を失うおそれがある。モデルの出す目標姿勢は次の観測にも影響するため、学習と実行が同じ過程で進む。
対象のPV-RNNは、観測の時間的な並びから次を予測するモデルである。従来は対話中に内部状態を調整しても結合の重みは固定していた。本研究は、事前学習なしで重みも更新しながら、複数の動作を保つ課題を扱う。
手法
人がロボットの両腕を動かすと、計測した関節角から両手先の位置と向きを求め、モデルに観測として渡す。新しい観測を直近の観測窓に加え、古い観測を外して内部状態を推定する。変分自由エネルギーは、その窓での予測と観測のずれに加え、推定した内部状態の分布と事前の分布との差を含む量である。
FEGPは、窓内で平均したこの量の対数からゲート値を計算し、重みを更新する実効学習率を変える。各回の計算では、まず内部状態だけを調整し、その後に内部状態と重みを更新する。例えば横に腕を開く動作の後に上下動を教え、予測が合わなくなると重みの更新が強まる。更新後に生成した将来の手先軌道から、次の目標姿勢を制御系へ渡す。
新規性
FEGPは、時系列を予測するPV-RNNが推論中に計算する変分自由エネルギーを、結合の重みを更新する強さの調節に使う。直近の観測窓で予測が合わないほど更新を強め、説明できるようになると弱める仕組みである。
著者らは、事前学習や課題の切り替え信号なしに、実機との対話中に内部状態と重みを更新した。比較実験からは、更新量の平均だけでなく、予測が合わない時点に更新を配分することが保持に関わると報告している。
従来手法との違い
従来のPV-RNNは、記録した感覚系列で結合の重みを事前学習し、対話中は重みを固定して内部状態を調整する。本研究ではランダムな重みから始め、対話中に内部状態と重みを更新する。基本の比較条件は、重みの更新に毎回同じ基本学習率を使う方法である。
FEGPは自由エネルギーに応じて実効学習率を変える。著者らは、ゲートの時間平均に合わせた一定学習率と、同じゲート値を時間順を崩して適用する条件も比較した。いずれもFEGPの改善を再現しなかったという結果であり、比較の範囲は報告された教示系列に限られる。
実験結果
著者らは、三種類の周期的な双腕動作を評価した。人が各動作を十周期ずつ教えて記録し、そこから六千回のモデル更新に相当する教示系列を十本構成した。制御実験では各系列につきネットワークの初期値を五通り使い、同じ系列を比較条件に与えた。別に、実機で人が腕を動かす対話実験も行った。
著者らは、FEGPが一定学習率などの条件より、生成できる動作の種類の広さと、直近の観測窓から外れた動作の保持を改善したと報告する。実機では三種類すべてが自律生成軌道に現れた。軌道の評価は、生成後に周期へ分割し、A・B・C・不明へ分類する別工程で行う。確認できた本文の範囲では、改善幅の数値や分類器の検証成績は確認できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：双腕ロボットに人が複数の反復動作を順序を決めずに教える試験を想定する。必要な教示データは、人が腕を直接動かした際の関節角の計測値と、そこから求める両手先の位置・向きである。動作名と周期境界のラベルは、生成軌道を後から評価するために用意する。
直近の手先姿勢をモデルに渡して内部状態と重みを更新し、生成した次の手先目標姿勢を制御系へ渡す。対象機の姿勢表現と制御系への変換が適応作業となる。教示後の自律生成軌道に教えた動作が現れるかを確かめる案であり、別の作業への効果を予測するものではない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象の双腕ロボットで教える反復動作を数種類決め、人が腕を動かした各周期を複数回記録する。入力に必要なセンサー値は関節角で、両手先の位置・向きへ変換する。評価用には動作名と周期境界のラベルを用意し、対象機の姿勢表現と制御系に合わせて入出力を調整する。
同じ教示系列と初期条件で、FEGPと一定学習率の更新を比較する。教示中と終了後の自律生成軌道を同じ基準で分類し、再現した動作の種類、古い動作が観測窓から外れた後の保持、更新に要する時間を測る。ラベルは評価だけに使い、学習中の課題切り替え信号にはしない。
限界と課題
著者らは、直近の観測窓だけで重みを更新すると、以前に覚えた動作に干渉し得ると説明する。一定学習率での更新では保持が乏しいことも報告した。FEGPについて確認できる実機結果は、教えた三種類の周期的な双腕動作が自律生成軌道に現れたという範囲である。
編集上の検証事項は、教える人や動作の順番を変えた場合の保持、動作切り替え時の目標姿勢、各更新が次の観測までに終わるかどうかである。評価用の動作名と周期境界をどう付けるかも決める必要がある。これらを著者らが実証した限界として扱うことはできない。
出典
元のタイトル・要旨を確認する（英語）
Free-Energy-Gated Plasticity for Real-Time Online Motor Learning in Physical Human-Robot Interaction
Fully online embodied learning requires synaptic adaptation to acquire new behaviors while preserving previously learned dynamics during ongoing interaction. We extend the Predictive-Coding-inspired Variational Recurrent Neural Network (PV-RNN) to continuously adapt its synaptic weights and propose Free-Energy-Gated Plasticity (FEGP), which regulates the effective learning rate according to variational free energy. In real-time physical human-robot interaction, a randomly initialized network acquired three cyclic motor patterns without offline pretraining, replay, or task-boundary signals, with all three patterns emerging in autonomous rollouts. Controlled experiments over ten randomized teaching streams and five network initializations per stream showed that FEGP substantially improved repertoire coverage and retention of previously acquired patterns after they left the recent observation window. Neither a constant learning rate matched to the gate's time-averaged effective rate nor replay of the same gain values with disrupted temporal organization reproduced these improvements. These results indicate that the temporal allocation of plasticity relative to model-environment mismatch, rather than simply its average magnitude or distribution, is critical for maintaining previously acquired behaviors during continued online learning.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01