アーカイブ / VLM / Robotics
通れる移動先を画像に描き、視覚言語モデルで選ぶVLMnav
VLMnav
VLMnavの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: The full action prompt for VLMnav consists of three parts: A system prompt to describe the embodiment, an action prompt to describe the task, the potential actions, and the output instruction, and an image prompt showing the current observation along with the annotated actions
概要
- 深度画像と位置情報から通れる移動候補を作り、画像上の番号を視覚言語モデルに選ばせる。
- 著者らはObjectNavの滑りを許す設定で、成功率50.4%、経路長を考慮した成功率0.210を報告した。
- 滑りを無効にすると成績が下がり、実機では衝突と停止位置の検証が必要になる。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、VLMnavの仕組み
- 01目標とRGB-D画像
- 02通行可能域を計算
- 03候補を画像に重ねる
- 04移動番号を選択
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
VLMnavは、目標を与えられた機体がカメラ画像を見て次の移動を選ぶ手法だ。視覚言語モデルとは、画像と文章を一緒に扱うAIを指す。目的地へ進むには、目標らしい場所を探す判断と、手前の障害物を避ける判断の両方が必要になる。
従来の構成では認識、地図作成、経路計画などを分けることが多い。著者らは、画像と行動履歴をそのままモデルに渡すだけでは、細かな移動方向の指定や探索の判断が難しいと指摘する。
手法
入力は文章または画像の目標、カラー画像と深度画像、機体の位置・向きだ。深度画像は画素ごとの距離を表す。まず通れる方向と距離を求め、深度と位置情報で探索済み領域を記録する格子状の地図を更新する。未探索方向を優先し、画像上で見分けられる間隔を空けて候補を選ぶ。
候補には番号を付けてカラー画像に重ね、目標とともにモデルへ渡す。例えば椅子を探す場合、選ばれた番号に対応する回転と前進を実行する。行き止まりに備えた180度回転の候補もある。停止は注記のない画像を使う別の問い合わせで判定し、停止回答が二回続くと終了する。
新規性
著者らが提案するのは、深度画像から通れる方向を絞り、探索を促す移動候補をカメラ画像に描いて、視覚言語モデルに番号を選ばせる方法だ。追加の走行データによる学習は行わない。
候補の選択結果を移動行動として直接実行し、別の低水準の障害物回避方策は使わない。ただし、通行可能性の計算と探索済み領域を記録する地図は明示的に組み込まれている。
従来手法との違い
近い比較対象のPIVOTは、画像上の矢印で候補を示し、モデルの反応を使って候補の分布を繰り返し更新する。VLMnavは深度で通れる候補を作り、画像への注記を見せて一度の問い合わせで移動行動を選ぶ。
著者らは、通行可能性と候補生成を外した版、候補を画像に描かず文章で示す版も評価した。専門手法との比較では視野角、画像解像度、行動空間が異なり、成績差を候補提示方法だけの効果とは判断できない。
実験結果
著者らはHabitat-Matterport 3Dの場面を使うObjectNavとGOAT Benchで評価した。成功率をSR、経路長を考慮した成功率をSPLと呼ぶ。障害物に沿って滑る設定のObjectNavでは、VLMnavがSR 50.4%、SPL 0.210、PIVOTが24.6%、0.106だった。
GOAT Benchのval unseen分割では同じ滑り設定でVLMnavがSR 16.3%、SPL 0.066、PIVOTが8.3%、0.038だった。滑りを無効にした専門手法との比較ではVLMnavが6.9%、0.049、SenseAct-NN Skill Chainが29.5%、0.113。ObjectNavで滑りを無効にしたVLMnavは12.9%、0.063だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：屋内で指定された棚へ向かう案内ロボットを検討する。棚名を目標文、前方のカラー画像と深度画像、機体の位置・向きを入力し、次の回転・前進の候補番号と、別の問い合わせによる停止判断を出力する。
追加学習用の走行データは使わない想定だが、到達判定には棚の位置ラベルが要る。棚名を目標に対応付け、現場の通路幅と機体寸法に合わせて候補距離や停止条件を調整する。実施設での有効性は未検証の応用案である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：棚までの短い経路を複数設定し、棚名、カラー・深度画像、機体の位置・向きを入力して選択行動と停止判断を記録する。追加学習用の走行データは使わず、到達判定用に棚の位置ラベルを用意する。
候補を文章だけで示す版を基準に、同じ経路で到達率、停止位置から棚までの距離、接触回数、移動距離を比べる。通路幅と機体寸法に応じて候補距離と停止条件を調整し、調整前後を同じ項目で測る。
限界と課題
著者らは、シミュレーターで障害物に沿って滑る設定を無効にすると成績が大きく下がると報告する。通行可能性の計算は機体の大きさや形を十分に考慮せず、後退して抜け出す行動もないため、衝突や停滞が起こり得る。
編集上の検証事項は、実機の深度誤差と位置ずれ、狭い通路での接触、目標から離れた位置での停止である。専門手法より低い成績も報告されている。示された評価はシミュレーションであり、施設内を安全に走れることまでは確認できない。
出典
元のタイトル・要旨を確認する（英語）
End-to-End Navigation with Vision Language Models: Transforming Spatial Reasoning into Question-Answering
We present VLMnav, an embodied framework to transform a Vision-Language Model (VLM) into an end-to-end navigation policy. In contrast to prior work, we do not rely on a separation between perception, planning, and control; instead, we use a VLM to directly select actions in one step. Surprisingly, we find that a VLM can be used as an end-to-end policy zero-shot, i.e., without any fine-tuning or exposure to navigation data. This makes our approach open-ended and generalizable to any downstream navigation task. We run an extensive study to evaluate the performance of our approach in comparison to baseline prompting methods. In addition, we perform a design analysis to understand the most impactful design decisions. Visual examples and code for our project can be found at https://jirl-upenn.github.io/VLMnav/
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01