アーカイブ / VLM / Robotics
障害物地図と訪問記録を使い、言葉の指示に沿って次の移動先を選ぶ
Abstract Obstacle Map-Based Waypoint Prediction with TopoGraph-and-VisitInfo-Aware Prompting
Abstract Obstacle Map-Based Waypoint Prediction with TopoGraph-and-VisitInfo-Aware Promptingの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: Complete pipeline of our proposed zero-shot VLN with MLLM. Depth images are processed into gradients and filtered to form an obstacle map, which serves as input to the waypoint predictor. Generated waypoints are dynamically added to a topological graph and textualized as TopoGraph and VisitInfo. VisitInfo helps MLLM prioritize exploration and TopoGraph equips MLLM with local path planning (backtracking one/multiple steps and re-exploration) for error correction.
概要
- 深度画像から障害物地図を作り、進行方向の障害物より先にある経由点候補を除外する。
- 地点間の接続と訪問状態をMLLMに渡し、次の移動先や引き返しを選ぶ材料にする。
- 著者らの評価で成功率はR2R-CEの1,839件で41％、RxR-CEの抽出300件で35.7％だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Abstract Obstacle Map-Based Waypoint Prediction with TopoGraph-and-VisitInfo-Aware Promptingの仕組み
- 01全周の深度画像
- 02障害物地図
- 03経由点候補
- 04接続図と訪問記録
- 05次の地点ID
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この手法は、言葉で道順を指示されたロボットが、周囲を見て次の移動先を選ぶためのものだ。視覚言語ナビゲーションとは、画像に映る環境と言葉の指示を対応させて目的地へ進む課題をいう。
自由に動ける環境では、移動先となる経由点をその場で作り、障害物を避けて進む必要がある。訪れた地点と地点間のつながりを把握できなければ、同じ区域を繰り返し探索したり、誤った経路から戻りにくくなったりする。
手法
全周の深度画像を物体までの距離を表す点群に変え、ロボットを中心とする区画へ投影する。各区画の高さと進行方向の高低差から障害物を判定し、地図を作る。学習済みの予測器はこの地図から経由点の候補を出し、同じ方向で最初の障害物より先にある候補を除外する。
候補を、地点とその間の接続を表す図に加え、訪問済みかどうかも更新する。MLLMは画像と言葉を一緒に扱うモデルで、指示文、周囲の画像、接続図、訪問情報などを受け、次に向かう地点IDを選ぶ。例えば分岐を誤った場合、接続図を手掛かりに訪問済み地点へ戻り、別の未訪問地点を選べる。
新規性
著者らは、深度画像から作った障害物地図だけを経由点予測器に入力し、同じ方向で最初の障害物より先にある候補を除外する方法を提案した。地図の区画と予測先の位置を対応させている。
さらに、候補地点のつながりを示す接続図と訪問状態を更新し、画像や指示文とともにMLLMへ渡す。経路を誤った際に、訪問済み地点を経て別の未訪問地点を選ぶための情報になる。
従来手法との違い
従来の経由点予測には、RGB画像と深度画像を使う方法がある。本手法の予測器は、深度画像から作る障害物地図を入力とし、候補までの直線上に障害物がある場合は、その先の候補を除外する。
著者らは、同じ提案プロンプトを使うR2R-CEの構成比較で、予測器をDC-VLNのものに替えた場合とも比べた。提案予測器の成功率は46％、DC-VLNは42％で、表に「Collision」と記された値はそれぞれ3.85、9.98だった。
実験結果
著者らは、連続空間で道順に従うR2R-CEとRxR-CEを評価した。R2R-CEは未見環境の検証用1,839件、RxR-CEは英語の未見環境の検証用から抽出した300件である。成功率は順に41％と35.7％で、後者は要旨では丸めて36％と記される。
R2R-CEの表では、ゼロショット手法SmartWayの成功率29％に対し、本手法は41％だった。別に抽出した300件での構成比較では、提案構成の成功率46％が、訪問情報を除くと40％、接続図を除くと37％になった。41％と46％は評価件数が異なり、同一条件の値ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：建物内の巡回ロボットに「廊下を進み、階段の手前を左へ曲がる」と指示し、次に向かう候補地点を選ばせる。入力は指示文、周囲のRGB・深度画像、自己位置の推定値で、出力は選択した地点のIDとする。
適用を試すには、同形式のセンサー観測と、学習用環境の接続図から得る正解の経由点ラベルが必要だ。予測器をそのデータで学習または適応させ、対象の建物では接続図と訪問状態を走行中に更新する。実建物で有効かは未検証である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象に近い仮想環境で、指示文、全周のRGB・深度画像、自己位置の推定値を記録する。予測器の学習には、学習用環境の接続図から得る正解の経由点ラベルが必要だ。対象環境へ移す際の学習・適応方法と、走行中の訪問状態の更新方法を決める。
同じ指示と場面で、接続図・訪問情報を使う構成と訪問情報を外す構成を比べる。成功率、経路長を考慮した成功率、衝突、再訪回数を測り、階段や傾斜の障害物判定も確認する。これらは導入判断のための測定項目であり、改善を保証する結果ではない。
限界と課題
著者らは、指示と経路が長いRxR-CEでは、教師あり手法ETPNavとの成績差が残ると述べる。本研究の「ゼロショット」はナビゲーションの評価設定を指し、経由点予測器には正解の経由点情報を使った事前学習がある。
編集上の検証事項は、対象環境で障害物地図が通行可能な階段や傾斜をどう扱うか、直線上の障害物を見落とさないか、訪問記録が増えても適切に選べるかである。確認できた本文の範囲では、実機や新しい建物への適応結果は示されていない。
出典
元のタイトル・要旨を確認する（英語）
Boosting Zero-Shot VLN via Abstract Obstacle Map-Based Waypoint Prediction with TopoGraph-and-VisitInfo-Aware Prompting
With the rapid progress of foundation models and robotics, vision-language navigation (VLN) has emerged as a key task for embodied agents with broad practical applications. We address VLN in continuous environments, a particularly challenging setting where an agent must jointly interpret natural language instructions, perceive its surroundings, and plan low-level actions. We propose a zero-shot framework that integrates a simplified yet effective waypoint predictor with a multimodal large language model (MLLM). The predictor operates on an abstract obstacle map, producing linearly reachable waypoints, which are incorporated into a dynamically updated topological graph with explicit visitation records. The graph and visitation information are encoded into the prompt, enabling reasoning over both spatial structure and exploration history to encourage exploration and equip MLLM with local path planning for error correction. Extensive experiments on R2R-CE and RxR-CE show that our method achieves state-of-the-art zero-shot performance, with success rates of 41% and 36%, respectively, outperforming prior state-of-the-art methods.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01