表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

移動中の画像を証拠として残し、複数の探索をつなぐNavMCP

NavMCP

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

NavMCPの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Figure 1: (a) A VLM directly controlling short waypoint actions may struggle with long-horizon progress. Coupling it with an NFM lets the VLM issue semantic navigation sub-goals while the NFM performs closed-loop execution. (b) For an EQA question, the VLM converts evidence-seeking decisions into semantic navigation calls that search relevant rooms, rule out unlikely regions, and localize the target evidence. (c) Table  1 values compare NavMCP with FAST-EQA and the corresponding benchmark-specific baseline: ToolEQA on HM-EQA and Express-Bench, and Memory-EQA on MT-HM3D.

出典:NavMCP / arXiv ↗

概要

  • NavMCPは、探索先と停止時点を決める視覚言語モデルを、移動を実行するモデルにつなぐ。
  • 移動中の画像を証拠として残し、調べた場所や未解決の目標を次の移動へ引き継ぐ。
  • 著者らのHM-EQA比較では、モデルを固定した場合の正答率はNavMCPが74.0%、エピソード型接続が59.1%だった。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、NavMCPの仕組み

左から右へ読む
  1. 01質問と初期画像
  2. 02探索先を指定
  3. 03経路画像を整理
  4. 04記憶を更新
  5. 05根拠から回答

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

離れた場所にある物について答えるロボットは、探す場所を決めて移動し、見たものを覚えながら次の場所を選ぶ必要がある。移動中の手掛かりを失うと、同じ場所の再訪や根拠の弱い回答につながる。

画像と文章を合わせて判断する視覚言語モデルは探索方針を考えられるが、繰り返す移動の実行には弱さがある。移動を担うモデルは個別の目標に向かえても、質問全体にわたる証拠集めと記憶の維持は別に必要となる。

手法

NavMCPでは、視覚言語モデルが回答に足りない証拠を判断し、移動モデルへ自然文の小目標を渡す。指示には、物を探すか経路・場所の説明に従うかという種類、歩数の予算、任意の制約を含める。例えば「台所の作業台でコーヒーメーカーを探す」と依頼する。

移動モデルは一人称のカラー画像、位置、探索中に作った地図を使い、短い区間の進行先を繰り返し出す。経路上の代表画像を別の視覚言語モデルが要約し、見た物を元画像と確信度に結び付ける。証拠台帳には観察結果、調べた場所、不確かな情報、残る目標を記録し、上位モデルが次の移動か回答かを選ぶ。

新規性

NavMCPの提案点は、証拠を探す意図、移動中の観察、次の判断に使う記憶を三つの経路でつなぐ構成にある。視覚言語モデルと移動モデルを再学習せず、個別の移動を一つの質問への継続的な探索に組み込む。

経路上で見た物を元画像と結び付け、調べた場所や未解決の目標も次の移動へ渡す。移動の終了時点だけでなく、途中の観察を回答の根拠として使えるようにする。

従来手法との違い

比較対象のエピソード型接続では、移動指示を一回出すと、終了状態と最後の観察だけが上位モデルに返る。途中で見えた物や、調べ終えた場所を次の判断に引き継ぎにくい。

NavMCPは経路上の画像を整理し、証拠と残る探索目標を保持する。上位モデルをQwen3.5-397B-A17B、移動モデルをQwen-RobotNav-8Bに固定した著者らのHM-EQA比較では、正答率はNavMCPが74.0%、エピソード型接続が59.1%だった。

実験結果

著者らは、267場面の500件の選択式質問を含むHM-EQAで正答率を測り、NavMCPは76.7%、既報のFAST-EQAは69.2%と報告した。複数対象を問うMT-HM3Dでは54.4%、2,044件の自由回答を含むEXPRESS-Benchでは回答品質を評価するLLM Scoreが79.27だった。論文間の数値は参考比較である。

同じ上位モデル、問題、初期状態、予算を用いたHM-EQA比較では、NavMCPが74.0%、著者らが再現したFAST-EQAが63.5%だった。上位モデルと移動モデルを固定し、三つの経路をエピソード型接続に替えると59.1%となった。Unitree Go2での成功率は78.3%と報告されるが、確認できた本文の範囲では実機試験の件数と成功判定の詳細は分からない。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:屋内ロボットに「会議室に赤い椅子はあるか」と尋ね、複数の部屋を調べる試行を想定する。入力は質問、一人称カメラ画像、位置情報、探索中の地図とし、出力は回答と、その根拠となる画像の記録にする。

移動指示の形式、地図の作り方、画像の保存先は現場に合わせて調整する。試行の正解ラベルには対象物の有無と所在を記録する。採用モデルの元の学習データは確認できた本文から特定できず、この用途での効果も未検証である。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:一つの屋内区域で、対象物の有無を問う質問、評価用の正解ラベル、対象物の所在、探索可能範囲を用意する。一人称カメラ画像、位置情報、探索中の地図を使える移動モデルを選び、移動指示と経路画像の記録形式を現場に合わせる。

同じ質問、初期位置、探索予算で、最後の画像だけを返す方式とNavMCP型の記憶付き方式を比べる。正答率、根拠画像を確認できる割合、見落とし、再訪回数、完了時間を測る。追加学習は論文の構成では不要だが、採用モデルの元の学習データと現場への適合性は別途確認する。

限界と課題

著者らは、論文間の比較ではAPIやコードの利用可能性に制約があり、条件を完全にはそろえられないと述べる。また、距離を補正した手数は上位モデルの呼び出しと探索量を表す指標で、処理全体の所要時間ではない。

編集上の検証事項は、画像の要約が物を見落とさないか、一部の視界で見えなかった対象を「存在しない」と扱わないかである。実機の成功率を別の建物へ当てはめるには、質問、探索範囲、成功判定をそろえて測り直す必要がある。

研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

Scaffolding Foundation Models into Physical-World Agents Pushes the Frontier of Long-Horizon Navigation

Long-horizon physical-world agents must reason over distant goals while grounding decisions in reliable closed-loop behavior. Today's foundation models split these capabilities: vision-language models (VLMs) infer missing information and adapt high-level plans but remain brittle and inefficient at repeated navigation grounding, while navigation foundation models (NFMs) robustly execute semantic goals but operate as bounded episodes without persistent task-level reasoning. We introduce NavMCP, an agentic scaffolding framework that couples a VLM reasoning agent with an NFM executor for long-horizon exploration. The VLM decides what evidence to seek, where to search, and when to stop, while the NFM grounds each semantic sub-goal into closed-loop navigation. Three channels structure their collaboration: intent translates evidence needs into navigation calls, observation converts rollouts into source-grounded trajectory evidence, and memory accumulates findings, negative evidence, and unresolved goals across calls. This design turns isolated navigation rollouts into persistent embodied interaction without retraining either model. On Embodied Question Answering, NavMCP achieves state-of-the-art results on HM-EQA, MT-HM3D, and EXPRESS-Bench. Under matched agent and executor backbones, it outperforms an episodic interface by 14.9 percentage points on HM-EQA. On a Unitree Go2, NavMCP reaches 78.3% success, with its margin over the strongest baseline growing from 10 to 45 points as the task horizon increases. These results demonstrate the potential of scaffolding complementary foundation models into long-horizon physical-world agents.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01