新着研究 / Robotics / VLM
目標が出る前の物体イベントを記憶するWholeBodyMem、人型ロボットが視界外の手掛かりを利用
WholeBodyMem / HuMeGo
WholeBodyMem / HuMeGoの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: Memory in a real whole-body task. Top: the cola stops first on the middle seat (1.1 s), then a sprite and the cola stop on the other two; the robot turns away to fetch the cola and, when it returns at 30.0 s, the three seats look the same.
概要
- 物体の出現・消失・移動などから重要フレームを選び、全身動作の方策へ渡す。
- 六つの模擬課題と六つの実機課題からなるHuMeGoで記憶を検証する。
- 基準方策の成功率は模擬で29.1%から72.6%、G1実機で36.7%から88.3%へ改善。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、WholeBodyMem / HuMeGoの仕組み
- 01頭部カメラ映像
- 02対象物の変化を検出
- 03重要フレームを記憶
- 04全身行動へ参照
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
人型ロボットが歩いたり向きを変えたりすると、頭部カメラで見た手掛かりが視界から消える。物の置き替えや一時的な表示を見た後で指示を受ける課題では、現在の画像だけから正しい対象を選べないことがある。
長い映像を全部保存すれば計算負担が増え、一定間隔の保存では短い重要な瞬間を落とす。WholeBodyMemは、ロボットが目標に向けて動き出す前も含め、対象物に起きた出来事を選んで記憶し、全身動作へ利用する方法である。
手法
固定したSAM3で対象物を追跡し、出現、消失、移動、形の変化を検出する。ロボット自身のカメラ移動を補償し、物体の出来事に応じて重要な画像を選ぶ。選択はその時点までの観測だけで行い、限られた記憶量を状況に応じて配分する。
画像の特徴と、外観・形状・時刻を含む物体ごとの特徴を保存し、行動モデルが注意機構で参照する。例えば同じ見た目の座席のどこに先に缶が置かれたかを見た後、別方向を向いて戻っても、その過去の出来事を動作選択に使える。単に多くのフレームを与えるのではなく、判断に必要な瞬間を残す構成だ。
新規性
特徴は、操作の開始後の履歴だけでなく、目標へ取り組む前に見た対象物の出来事を記憶する点にある。歩行で視点が大きく動く人型ロボットに対し、物体を軸にフレームを選ぶ。
従来の卓上アーム向け記憶と異なる条件を試すため、HuMeGoも構築した。物体、空間、時間の記憶が必要な課題を含み、正しい選択ができたかと、実際に操作を成功させたかを分けて評価する設計である。
従来手法との違い
比較対象には記憶を持たない方策と、一定間隔で画像を残す記憶方式がある。著者らは、重要なフレームを選ぶ方式が、これらの基準を判断と課題成功の両面で上回ると報告する。
単純に記憶量を増やす代わりに、短い出来事を取り逃がさない選択を重視する。現時点の画像で目標を確認できる標準課題SIMPLEでも改善があり、記憶を要求する課題だけへの効果に限定されなかったとしている。
実験結果
HuMeGoには六つのシミュレーション課題と、Unitree G1を使う六つの実世界課題がある。実機では手掛かりを見た後にロボットが別方向を向く条件も含む。
基準方策の成功率は、模擬環境で29.1%から72.6%、実機で36.7%から88.3%となった。標準のSIMPLE課題は70.2%から86.9%へ改善した。これらは各課題群での比較なので、すべての実環境で同じ上昇幅が得られると解釈しないことが必要だ。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：倉庫の補助作業で、作業前に見た荷物の移動や配置を覚えておく。入力は巡回中のカメラと後から与える作業指示、出力は過去の物体イベントを参照した対象選択と移動・操作にする。
例えばラベルが一時的に隠れた後も、直前の移動履歴から対象候補を絞る補助が考えられる。ただし記憶が古いまま行動すると取り違えにつながるため、実行前の現在状態の確認も併せて行う運用にする。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象物が見えなくなる短い課題から始め、記憶なし、一定間隔の記憶、物体イベントによる記憶を同じ基準方策で比べる。画像枚数や処理負担をそろえた比較も行う。
対象選択の正確さ、操作成功、重要フレームの保持率、計算遅延を別々に測る。頭部の回転だけ、歩行を伴う回転、物体自体が動く条件を分け、カメラ移動の補償が失敗するとどの程度行動へ影響するかを確認する。
限界と課題
対象物を追跡できることと、判断に必要な出来事を検出できることが前提になる。見えていない間に起きた変化は記憶だけで観測できず、過去情報を正しく保存することと現在の事実を知ることは異なる。
編集上の確認点は、似た物体の入れ替わり、長い遮蔽、記憶の上書き、追跡失敗への対応である。著者らの課題群を超える長時間運用では、何を忘れるかと、いつ再観測するかも合わせて検証する必要がある。
出典
元のタイトル・要旨を確認する（英語）
Memory before Goal: Role of Pre-History Memory for Humanoid Loco-Manipulation
Humanoid loco-manipulation in dynamic scenes is non-Markovian: cues vanish as objects change or are hidden, or leave the view as the robot turns and walks, yet whole-body vision-language-action (VLA) policies see only the present. We present WholeBodyMem, an object-guided perceptual memory that keeps the pre-history of object events seen before the robot acts on its goal. SAM3 tracks the task objects, and their events causally select key frames within an adaptive budget, which the action expert reads by cross-attention together with object tokens encoding appearance, geometry and time. We also contribute HuMeGo, a humanoid memory benchmark with six simulated and six real-world Unitree G1 tasks. Keeping the right frames rather than more frames, WholeBodyMem surpasses memoryless and uniform-memory baselines, raising its base policy's success from 29.1% to 72.6% in simulation and from 36.7% to 88.3% on the real robot, while also improving the standard SIMPLE tasks (70.2% to 86.9%).
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集：2026-10-23