アーカイブ / Robotics
成長型ネットワークの重みを実行中に変えると、制御は改善するか
Activity-Dependent Plasticity in MorphoNAS
Activity-Dependent Plasticity in MorphoNASの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1. Developmental dynamics of a MorphoNAS network on a 10 × 10 10\times 10 grid. Background colour encodes morphogen concentrations (RGB = 3 morphogens); white squares = neurons; white lines = connections. From a single progenitor cell (Step 2), reaction-diffusion dynamics drive cell division, differentiation, and chemotactic axon growth, producing a 7-neuron, 13-connection recurrent controller by Step 200.
概要
- 著者らは成長型の再帰型ネットワークに実行中の重み更新を加え、CartPoleとAcrobotで構造ごとの効果を調べた。
- CartPoleの一定以上の初期成績を持つ群では反ヘッブ型が優勢だったが、共通の更新設定では個別設定による改善を大きく取りこぼした。
- 反ヘッブ型の優勢は比較用のランダムなネットワークにも見られ、成長型では設定と構造の相性による差がより大きかった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Activity-Dependent Plasticity in MorphoNASの仕組み
- 01設計値から成長
- 02状態を観測
- 03活動で重み更新
- 04制御指令
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
MorphoNASは、少数の設計値から神経細胞と接続を成長させ、制御用ネットワークを作る方式である。従来、この方式で成長後の接続の重みは固定されていた。本研究は、制御の実行中に重みを変えると成績がどう変わるかを調べた。
対象は棒を台車で支えるCartPoleと、二つのリンクを振り上げるAcrobotである。物理条件が途中で変わる課題も使い、初期状態での成績だけでなく、変化後の制御に重み更新が役立つかを検討した。
手法
MorphoNASは54個の設計値に従い、細胞の増殖・分化と接続形成を繰り返して再帰型ネットワークを作る。再帰型とは、過去の活動も後の計算に影響する構造を指す。成長したネットワークに課題の観測値を入れ、得た指令で制御する。
実行中は、接続する二つの細胞の活動と、重みを減衰させる設定に従って重みを更新する。同時に活動した細胞の結び付きを強める方向がヘッブ型、弱める方向が反ヘッブ型である。例えばCartPoleでは、状態観測から左右の指令を出す各時点で更新する。著者らは更新率と減衰率を組み合わせて試し、両者を成長の設計値と一緒に進化させる実験も行った。
新規性
著者らは、成長型ネットワークごとに活動依存の重み更新を調べ、その設定をネットワークの設計値とともに進化させた。個別に選んだ設定では改善しても、全ネットワーク共通の設定では改善を取りこぼす度合いを測っている。
比較用のランダムな再帰型ネットワークでも反ヘッブ型は有利だった。一方、共通設定による改善の取りこぼしは成長型で大きく、著者らは重み更新と構造の相性に着目している。
従来手法との違い
基準は、成長後の重みを固定した制御器である。これに、全ネットワークで同じ更新設定を使う条件と、各ネットワークの評価結果から最良の設定を選ぶ条件を比べた。個別選択は探索範囲内の評価上の上限であり、未知の課題でもその設定を選べるという意味ではない。
進化実験では、重み固定、更新設定を固定、更新設定も設計値とともに進化、の三条件を比較した。さらに細胞数と接続数をそろえたランダムな再帰型ネットワークを調べ、成長過程に特有の傾向かを検討した。
実験結果
著者らはCartPole用の成長型ネットワーク5万件について、更新率と減衰率の75通りを調べ、主要探索で375万回評価した。重み固定時と更新時の平均報酬を、それぞれ固定した乱数条件の20試行で比較した。一定以上の初期成績を持つ群では反ヘッブ型が優勢で、差の大きさを示すCohenのdは0.53～0.64だった。
個別設定で得られる改善のうち、最良の共通設定で失う割合はCartPoleの該当群で52～100％だった。Acrobotでは5,000件から調べ、どの共通設定でも平均的な改善は得られなかった。進化実験のCartPoleでは30回中21回で反ヘッブ型が選ばれたが、三条件とも最終報酬は500に達した。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：重力が走行途中で変わる模擬台車の棒立て制御に使う。入力はシミュレーターが返す状態観測、出力は各時点の左右の制御指令とし、条件変更後も棒を支えられるかを見る。
用意する元データは、設定の探索と評価に使う模擬走行の観測・指令・報酬記録である。正解指令のラベルは要らないが、観測を得るシミュレーターと報酬の定義は必要になる。対象の観測項目と指令形式に合わせ、ネットワークの入力・出力を接続する。改善は検証する仮説として扱う。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：CartPoleの模擬走行で、観測項目、左右の指令、報酬、重力を変える時点を固定する。必要な元データは設定探索用と評価用の走行記録で、正解指令ラベルは不要とする。シミュレーターの観測値と指令をネットワークの入出力に対応させる。
複数の成長型ネットワークで、重み固定を基準に、共通設定と個別に選んだ設定を比べる。設定を選ぶ走行と成績を測る走行を分け、条件変更後の平均報酬、成功した走行の割合、更新による悪化の割合を確認する。個別設定を選ぶために要した評価回数も記録する。
限界と課題
著者らの実験では、進化実験のCartPoleは三条件とも早期に最高報酬へ達し、最終報酬で差を判別できなかった。条件変更を伴うAcrobotでは、更新設定も進化させる条件に成績上の利点は示されず、目標成績への到達も遅かった。
編集上の検証事項は、個別設定を選ぶための評価回数と、選択に使っていない走行での成績である。条件変更の時点や内容を変えても効果が続くか、更新がかえって制御を悪化させる頻度も測る必要がある。模擬課題の結果から実機での効果は判断できない。
出典
元のタイトル・要旨を確認する（英語）
Activity-Dependent Plasticity in Morphogenetically-Grown Recurrent Networks
Developmental approaches to neural architecture search grow functional networks from compact genomes through self-organisation, but the resulting networks operate with fixed post-growth weights. We characterise Hebbian and anti-Hebbian plasticity across 50,000 morphogenetically grown recurrent controllers (5M+ configurations on CartPole and Acrobot), then test whether co-evolutionary experiments -- where plasticity parameters are encoded in the genome and evolved alongside the developmental architecture -- recover these patterns independently. Our characterisation reveals that (1) anti-Hebbian plasticity significantly outperforms Hebbian for competent networks (Cohen's d = 0.53-0.64), (2) regret (fraction of oracle improvement lost under the best fixed setting) reaches 52-100%, and (3) plasticity's role shifts from fine-tuning to genuine adaptation under non-stationarity. Co-evolution independently discovers these patterns: on CartPole, 70% of runs evolve anti-Hebbian plasticity (p = 0.043); on Acrobot, evolution finds near-zero eta with mixed signs -- exactly matching the characterisation. A random-RNN control shows that anti-Hebbian dominance is generic to small recurrent networks, but the degree of topology-dependence is developmental-specific: regret is 2-6x higher for morphogenetically grown networks than for random graphs with matched topology statistics.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01