新着研究 / Robotics
直近の価値予測を作業進捗の記憶にするVaM、ロボットの行動選択とオンライン学習を改善
Value as Memory
Value as Memoryの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: VaM uses online real-world RL and value caching to boost sample efficiency and mitigate partial observability in long-horizon, deformable-object, and contact-rich manipulation.
概要
- 直近の価値予測を次の動作の条件へ加え、見た目だけでは曖昧な作業段階を補う。
- 実演、介入、現在の方策の試行を混ぜるオンライン強化学習で、実機の経験を継続的に反映する。
- 三課題の最終三チェックポイント平均で、価値キャッシュなしに対し成功率が29.4ポイント改善したと報告。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Value as Memoryの仕組み
- 01観測と直近の価値記憶
- 02動作を選択して試行
- 03実演と介入も蓄積
- 04価値と方策を更新
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
布を折る、箱を組み立てるといった長い操作では、現在の画像が似ていても作業がどこまで進んだかで次の動作が変わる。画像の外にある状態や、それまでの失敗を見失うと、同じ動作を繰り返す場合がある。
一方、実機で得た経験をまとめて後から学ぶ方式では、改善が現場へ反映されるまで間が空く。VaMは直近の価値予測を簡単な進捗記憶へ使うことと、収集した経験を頻繁に学習へ戻すことを組み合わせ、この二つの問題を扱う。
手法
価値ネットワークは、現在の状態から課題達成へどれだけ近いかを予測する。VaMは直近の予測値を保存し、次の動作を選ぶモデルへ条件として与える。価値は映像を保存する記憶ではなく、進行を要約する信号として使われる。
まず実演から進捗を初期化し、成功終端だけに報酬がある経験から価値を適応する。動作モデルの学習には過去の実演、介入を含む軌道、現在の方策が集めた試行を組み合わせる。例えば箱組立てで同じ形が見えても、直近の価値の変化を手掛かりに停滞と進行を区別し、収集と学習の反復を続ける。
新規性
価値を学習時の採点だけに使わず、実行時に動作を条件付ける記憶として再利用する。現在の観測だけでは区別しにくい状態へ、最近の作業進捗という履歴を補う点が特徴になる。
さらに、価値と動作をオンラインで共に更新する。初期の価値を固定したまま使うのではなく、現在の方策の経験へ合わせることで、方策が変わった後も記憶の意味がずれにくい構成を目指す。
従来手法との違い
価値キャッシュを除いた方式、オフライン強化学習の準備段階を除いた方式、RECAPなどと比較した。著者らはキャッシュなしより三課題平均で成功率が29.4ポイント高いと報告する。
動作モデルを固定して、価値ネットワークだけを古い学習段階のものへ置換すると成功率は低下した。この比較は、単に数値履歴を渡すだけでなく、現在の方策に適応した価値であることが重要という主張を支えている。
実験結果
実機の箱組立て、洗濯物折り、磁石付きバス模型の組立てを評価した。最終三チェックポイントの成功率はVaMが96.7%、88.9%、76.7%、キャッシュなしが81.7%、48.9%、43.3%だった。
対応するオフライン学習との比較では、オンライン自律学習による平均32.8ポイントの改善も報告する。同じ勾配更新総数で方策の反復回数は8倍となったが、成功率の差と更新頻度の差は別の比較として読む必要がある。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案は、布や部品を扱う反復作業での停滞検知を伴う制御改善である。現在画像と最近の進捗予測を入力し、動作候補と進捗の推移を出力する。
担当者は成功率だけでなく、似た見た目の局面で誤った段階へ戻る動作が減ったかを確認する。記憶が短い数値である利点を活かす一方、必要な状態をすべて表せるとは見なさず、作業段階の誤認が起きる場面を記録する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案では、同じ実演から初期化した方策でキャッシュあり・なしを比較する。試行予算と介入量をそろえ、達成率、停滞からの復旧率、作業時間、価値予測の推移を測る。
オンライン更新を有効にする前に、過去経験で価値の予測を確認する。更新後は古い価値への置換試験も行い、現在の方策との整合を測る。データ収集と学習を同時にする場合は、計算時間だけでなく実機の稼働時間も別に集計する。
限界と課題
価値は成功へ向かう見込みの要約であり、隠れた状態を完全に復元する表現ではない。誤った価値予測が続けば、履歴を渡しても誤認を補強する可能性がある。
報告のばらつきは最終三チェックポイント間の標準偏差で、独立した複数回の学習実行のばらつきとは異なる。編集上の確認点は、別の作業や観測条件でも改善が続くか、介入量と実機試行の負担を含めた費用が許容できるかである。
出典
元のタイトル・要旨を確認する（英語）
Value as Memory: Online Value-Guided Post-training for General Robot Policies
Real-world post-training of generalist robot policies faces two challenges: partial observability makes action selection ambiguous, while offline post-training methods delay feedback from deployment experience. We present Value as Memory (VaM), a framework that addresses these challenges through value caching and online real-world reinforcement learning (RL). Value caching conditions actions on recent value predictions as task-progress memory, while online updates enable timely policy improvement by combining offline demonstrations, off-policy interventions, and on-policy rollouts for sample-efficient adaptation. As a result, VaM transitions from offline RL warmup to online autonomous learning with sparse rewards. Across long-horizon tasks involving deformable objects and contact-rich manipulation, VaM yields a mean absolute success-rate gain of $29.4\%$ with value caching, while achieving a $32.8\%$ gain with online autonomous learning over matched offline training. The evaluated online schedule performs $8\times$ as many policy iterations under the same gradient-step budget, with more than $2\times$ lower recorded time per gradient step with concurrent data collection and training.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集：2026-10-17