表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

ロボットが最初の配置と操作履歴を覚える固定長メモリ

MemBodied

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
著者の公式図・デモ

連想状態とエピソードの基準画像を保持するMemBodied。

出典:Tej Deep Pala et al. / MemBodied, Fig. 1 ↗

概要

  • 操作と結果を更新する連想状態と、最初の場面を固定して残すアンカーを併用する。
  • RMBenchの5課題で、著者らは平均成功率50.0%を報告した。現在情報だけのπ0は6.4%だった。
  • 初期場面アンカーの効果は課題によって異なり、Block Rankingでは成功率が低下した。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、MemBodiedの仕組み

左から右へ読む
  1. 01現在のカメラ画像
  2. 02過去の情報を記憶から参照
  3. 03今の場面と履歴を組み合わせる
  4. 04次のロボット動作

たとえば見た目が同じ場面でも、「すでに何をしたか」を手掛かりに次の操作を選ぶ。

もともとの課題・処理

現在の画像だけでは、直前までの作業を区別しにくい。

この研究のアプローチ

固定サイズの連想記憶と基準画像を使い、作業履歴を判断に加える。

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

画像と言語から行動を出すVLA、すなわち視覚・言語・行動モデルは、現在の画面だけでは解けない操作に弱い。例えば物体を移した後で元へ戻す場合、今の画像には元の置き場所が映っていないことがある。

過去の画像をすべて入力に追加すると、作業が続くほど入力と推論の負担が増す。MemBodiedは作業中ずっと大きさが変わらない記憶で、初期配置と途中の操作結果を残すことを目指す。

手法

作業開始時に、最初の画像から小さくまとめた視覚情報を「アンカー」として固定する。別の連想状態は、問い合わせに応じて過去の情報を読み出せる行列で、行動ネットワークの各層に置く。現在の画像、ロボット状態、指示と読み出した情報から行動列を作る。

行動の実行後、次の画像で確認した変化と実行済み行動を組にして連想状態を更新する。更新量と旧情報を残す量は学習された係数で調整する。例えばブロックを動かした後、その移動結果を記憶し、戻す段階で初期位置をアンカーから参照する。各作業の開始時には記憶を初期化する。

新規性

MemBodiedは、操作とその結果を書き換えながら保持する連想状態に、最初の場面を固定して残すアンカーを組み合わせる。連想状態は現在の判断に応じて読み出す行列で、アンカーは後の更新で消え得る初期配置を参照する経路である。

行動を決めた後、その実行結果を次の観測で確かめてから記憶へ書く。この順序により、行動前には知り得ない結果を使わずに履歴を学習する。

従来手法との違い

比較対象のπ0は現在の画像、ロボット状態、指示だけで行動を決める。FrameStackは過去の観測を入力に加え、Vanilla Recurrent Memoryは固定長の状態を引き継ぐ。MemBodiedは二種類の記憶を行動ネットワークに読み込ませる。

著者らの設定で、圧縮した動画履歴を使うNativeMEMの平均成功率は38.4%、MemBodiedは50.0%だった。ただし同じ方式が全課題で優位ではなく、NativeMEMが上回る課題も報告されている。

実験結果

著者らは記憶が必要なRMBenchの5課題を各50回試し、平均成功率を報告した。π0を使う設定でMemBodiedは50.0%、現在情報だけのπ0は6.4%、通常の再帰記憶は16.8%、過去画像を重ねるFrameStackは14.8%だった。

別のπ0.5では12.4%から48.0%へ、実ロボット3課題の平均では3.33%から26.67%へ改善したと報告する。NativeMEMと比べた推論遅延は91.9%低く、追加パラメータは40M対415M。十分に観測できるLIBERO-Longでも85.2%対90.6%だった。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:作業台のブロックを一度別の場所へ動かし、別操作の後で元の位置へ戻す工程を対象にする。入力は初期画像、各時点のカメラ画像とロボット状態、作業指示、直前の実行結果である。

出力は次に実行する行動列と更新された記憶状態になる。作業開始時の配置をアンカーに残し、操作後に確認できた移動結果を連想状態へ書く。戻し先の判断を人が確認できる評価ログとともに試す。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:初期位置を後で参照する一つの操作を選び、同じ開始配置と指示で現在画像のみの方式、短い画像履歴を渡す方式、二経路記憶を比較する。各方式で同じ試行数を確保し、作業ごとに記憶を初期化する。

完了率に加え、戻し先の誤り、途中で情報が失われる時点、一回の判断にかかる時間、記憶量を測る。初期画像を隠した場合や途中の観測を一部欠いた場合も試し、どの情報が成功を支えているか確認する。

限界と課題

著者らの結果では、初期場面アンカーを足すと5課題平均は37.6%から50.0%へ上がる一方、Block Rankingの成功率は32.0%から22.0%へ下がった。初期画像を保つことが、進行状況の把握を要する課題で常に有利とは限らない。

編集上の検証課題は、長い作業で古い情報が上書きされる程度、カメラ視点や物体配置が変わる場合の再現性、誤った実行結果を記憶した際の回復である。著者らの成功率を現場の装置へそのまま当てはめない。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

MemBodied: Recurrent Associative Memory for Vision-Language-Action Models

Vision-Language-Action models provide a strong foundation for general-purpose robot control, yet a vast majority of policies do not preserve and leverage episode-level information beyond the current observation. This limitation is consequential in history-dependent manipulation tasks that depend on information available only in past observations. Retaining past observations in context can aid in recovering this information, but at the significant cost of ever-growing, bloated context and inference latency. We thus introduce MemBodied, a fixed-size episodic memory with two complementary components: an associative state that records interactions across policy calls and an episode anchor that preserves a compact representation of the initial scene as a reference. At each policy call, the model conditions action generation on the current input and the memory components, rather than directly using past observations. Across five evaluated RMBench tasks requiring memory, MemBodied achieves $7.81\times$ the mean success rate of a stateless policy and $2.98\times$ of vanilla recurrent memory, while outperforming the strongest memory-augmented baseline by $1.3\times$ with $10\times$ fewer added parameters. On the fully observable LIBERO-Long suite, it reached 90.6%, a 5.4% improvement over the stateless $π_0$ policy. These findings support MemBodied as a practical alternative to expanding the policy context for history-dependent manipulation.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-09-29