アーカイブ / Robotics / Computer Vision
画像で進むロボットはどこで失敗するか：5モデルの実機評価
Real-World VNM Evaluation
Real-World VNM Evaluationの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1 : Visual Navigation Models promise to deliver generalizable navigation in novel environments. We provide a comprehensive analysis of 5 models with 2 robot embodiments over 5 real-world environments and propose metrics to better capture their performance.
概要
- 5モデルを2種類の機体と5環境で評価し、経路、衝突、位置推定、目標判定も調べた。
- 廊下の衝突試行数はGNMとViNTが各0/3、NoMaDとCrossFormerが各3/3、NaviBridgerが2/3だった。
- 著者らは、見た目が似た場所での目標誤認と、画像に乱れを加えた際の性能変化を報告した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Real-World VNM Evaluationの仕組み
- 01走行画像を収集
- 02経路地図を作成
- 03次の行動を予測
- 04実機走行を評価
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
本研究は、画像を手掛かりに目標へ進むロボットを実環境で評価する。視覚ナビゲーションモデルは、現在と過去のカメラ画像、目標地点の画像を受け取り、次の行動を予測する。細かな座標地図に頼らず経路をたどる用途が想定される。
目標に着いた割合だけでは、途中で衝突したのか、遠回りしたのか、似た場所を目標と誤認したのかが分からない。搬送経路への導入を考える際も、到達の成否に加えて走り方と停止判断を確かめる必要がある。
手法
著者らは履帯式のBunkerと四足歩行のSpotを使い、環境ごとに人が先に走行経路を記録した。魚眼カメラのRGB画像を経路に沿って並べ、画像を地点としてつないだ「トポロジカルマップ」を作る。最終地点の画像が目標で、モデルは現在と過去の画像、経路上の次の目標画像から、次の通過地点やその先の経路を予測する。
走行時はモデルが推定する現在地に応じて、参照する目標画像を更新する。例えば似た階段が二つある経路では、どちらにいるかの推定が次の行動を左右する。走行後は経路長、目標までの残り距離、衝突、目標に着いたというモデルの判定、地図上の位置推定誤差を調べる。廊下では地図画像だけに動きぼけや日差しの乱れを加え、通常時に成功したモデルを再評価した。
新規性
著者らの貢献は、既存の視覚ナビゲーションモデルを実機で比べ、到達の成否に加えて経路、衝突、地図上の位置推定、目標判定を調べた点にある。新しい走行モデルの提案ではない。
さらに、経路地図の画像へ動きぼけや日差しの乱れを加え、見た目が変わった場合も検査した。経路に関する指標と画像に関する指標を併用し、失敗の種類を分けて示している。
従来手法との違い
対象はGNM、ViNT、NoMaD、NaviBridger、CrossFormerの5モデルである。GNMは全結合層、ViNTとCrossFormerはTransformer、NoMaDとNaviBridgerは拡散過程を使う。拡散過程は、候補となる行動を段階的に生成する仕組みを指す。
著者らは、構造が複雑でも衝突回避が安定するとは限らないと報告する。廊下ではGNMとViNTに衝突がなく、ほかの3モデルには衝突があった。CrossFormerの実機評価は廊下と扉のある空間に限られるため、全環境を通じた順位は付けられない。
実験結果
著者らは屋内の廊下、オフィス周回、扉のある空間、階段と、屋外の雪上駐車場で試験した。廊下の衝突試行数はGNMとViNTが各0/3、NoMaDとCrossFormerが各3/3、NaviBridgerが2/3だった。オフィス周回では順に5/10、1/10、2/10、NaviBridgerが9/10で、CrossFormerの値はない。
雪上での平均目標残距離はGNMが1.12±0.28、ViNTが9.96±6.42、NoMaDが10.76±3.74、NaviBridgerが4.78±0.76と報告される。この距離は参照経路上の通過地点を用いて計算する。衝突した試行は最初の接触で終了するため、衝突試行数は接触回数を表さない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：似た扉が続く屋内搬送経路で、目的の扉を取り違えるか試走する。入力は実機カメラのRGB画像、手動走行で集めた経路画像、目標画像とし、出力された次の通過地点に沿って走行記録と目標判定を保存する。
既存の学習済みモデルを使う想定なら、試走前に経路地図を作り、正しい到達地点を位置記録で確認できるようにする。追加学習する場合は、画像、目標画像、それに対応する正解行動の組が必要だ。この用途で誤認が減るかは現場で検証する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：まず屋内の一経路を手動で走り、RGB画像、位置記録、目標画像から経路地図を作る。画像と位置の対応付けには位置計測が必要で、論文ではLiDARと慣性計測装置、またはLiDARによる記録を用いた。候補モデルは論文の試験と同様、事前学習済みの重みで試す。
正解ラベルとして通過地点、実際の到達地点、接触の有無を記録する。同じ開始地点と目標で複数回走らせ、手動走行の経路を基準に、経路長、残距離、目標誤認、衝突試行数を比べる。追加学習するなら、別途、走行画像と目標画像に対応する正解行動の記録が要る。
限界と課題
著者らが明記する限界は、実機試験の制約による試行回数の少なさと、人がいる場での移動を評価していないことだ。また、Bunkerには衝突回避機構がなく、Spotには内蔵の回避制御があるため、両機体の衝突結果を同条件として比較できない。
編集上の検証事項として、現場の障害物配置、目標誤認時の停止条件、試行数を決める必要がある。画像指標は評価方法の記述でDSSIM、結果の説明でDreamSimと表記が食い違うため、どちらを計算したか確認するまで、その指標の数値解釈は保留したい。
出典
元のタイトル・要旨を確認する（英語）
Can Vision Foundation Models Navigate? Zero-Shot Real-World Evaluation and Lessons Learned
Visual Navigation Models (VNMs) promise generalizable, robot navigation by learning from large-scale visual demonstrations. Despite growing real-world deployment, existing evaluations rely almost exclusively on success rate, whether the robot reaches its goal, which conceals trajectory quality, collision behavior, and robustness to environmental change. We present a real-world evaluation of five state-of-the-art VNMs (GNM, ViNT, NoMaD, NaviBridger, and CrossFormer) across two robot platforms and five environments spanning indoor and outdoor settings. Beyond success rate, we combine path-based metrics with vision-based goal-recognition scores and assess robustness through controlled image perturbations (motion blur, sunflare). Our analysis uncovers three systematic limitations: (a) even architecturally sophisticated diffusion and transformer-based models exhibit frequent collisions, indicating limited geometric understanding; (b) models fail to discriminate between different locations that are perceptually similar, however some semantics differences are present, causing goal prediction errors in repetitive environments; and (c) performance degrades under distribution shift. We will publicly release our evaluation codebase and dataset to facilitate reproducible benchmarking of VNMs.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01