表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

移動指示の段階に合わせ過去と現在の根拠を可視化、ロボットの判断説明を改善

Stage-Aware Visual Attribution for VLN

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

Stage-Aware Visual Attribution for VLNの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Fig. 1 : Visual explanation challenges in VLN. (a) Explaining a generated token involves localizing its visual evidence while reducing interference from preceding tokens. (b) Explaining a navigation action requires recovering temporally distributed evidence across historical and current observations, while suppressing cross-stage interference from evidence associated with other instruction stages. Colored boxes schematically indicate stage-related regions. (c) Existing methods  [ 14 ] are insensitive to instruction-stage transitions, exhibiting overlapping token attributions ( top ) and high cross-stage explanation similarity ( bottom ).

出典:Stage-Aware Visual Attribution for VLN / arXiv ↗

概要

  • 選択した移動行動に対し、指示語と現在・過去画像の対応を求める。
  • 同じ指示段階の履歴を重視し、小さいが重要な領域を残しながら雑音を抑える。
  • R2R・RxRと複数方策で説明品質を評価し、実機では二つの代表例を示す。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、Stage-Aware Visual Attribution for VLNの仕組み

左から右へ読む
  1. 01指示と観測履歴
  2. 02行動別の寄与を算出
  3. 03同段階の履歴で補正
  4. 04根拠領域を可視化

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

本研究は、言葉に従って移動するロボットが、どの画像部分を根拠に行動を選んだかを説明する。「台を通り過ぎてテレビの前で止まる」なら、停止の根拠は直近の映像にあり、既に終わった台の通過とは分けて捉える必要がある。

既存の可視化では、移動の段階が変わっても似た領域を強調することがある。現在画像だけでは有用な過去の情報を失い、全履歴を同じように使うと別段階の情報が混ざる。研究は指示の段階と視覚の対応を残した説明を作る。

手法

選択された移動行動を対象に、注意の重みと勾配を使い、各指示語と画像の小領域がどれだけ関係するかを計算する。現在だけでなくモデルが使った過去の観測でも対応を求め、どの指示部分に結び付く観測なのかを分布として表す。これは完了度の直接測定ではない。

現在の指示段階に近い履歴ほど強く重み付けし、現在画像の寄与を補正する。さらに指示語と強く対応する小領域は残しつつ、孤立した弱い反応を空間フィルターで抑える。例えば壁の小さな絵が目印なら、面積が小さいという理由だけで消さず、指示との結び付きを見て保持する。

新規性

独自性は、現在の行動、指示語、時系列の観測を結び付けた寄与を基礎にする点にある。画像全体の目立つ場所を示すだけでなく、指示のどの段階に関係する根拠かを使って説明を整理する。

時間方向の補正と、指示に基づく空間的な抑制を組み合わせる。履歴を使うこと自体を改善とせず、別の段階から混じる反応を減らしながら、必要な過去の証拠を残す設計である。

従来手法との違い

比較対象はDEX-AR、GradCAM、TAMで、同じ選択行動と同じ入力観測へ適用する。提案方式は、説明対象の場所を隠した際に行動確率がどれだけ下がるかと、指示に関係する領域へ重なるかを分けて評価する。

時間補正だけ、空間フィルターだけ、両方ありという除去実験も行う。説明の見やすさだけでなく、実際の判断に固有の寄与を測ろうとするが、画像を隠すこと自体がモデルを乱すため、無作為なマスクの効果を差し引いている。

実験結果

Habitatの連続環境でR2RとRxRを使い、NaVILA、NaVid、StereoNavを評価する。NaVILAのR2Rでは、提案方式の補正済み行動寄与指標は31.98、意味的一致は43.70、両者の調和平均は36.93だった。

GradCAMの同指標は17.66、35.91、23.68で、著者らは両面での改善を報告する。Unitree G1では二つの代表的な移動例の可視化も示す。ただしこの定量値は移動成功率ではなく説明品質であり、実機の例も大規模な走行試験とは異なる。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:屋内案内ロボットの失敗調査で、選択行動、対応する指示部分、現在と過去の映像の寄与を同時に表示する。入力は走行ログと指示、出力は段階ごとの根拠マップにする。

担当者は、目印は見たが方向を無視した、先の目標へ早く移った、一部の指示だけを使った、といった候補を整理する。説明を自動で正解とみなさず、映像と行動の照合を人が行い、修正するデータや指示を選ぶ補助にする。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:同じ移動指示と観測履歴で従来の可視化と比較し、停止、曲がる、通過する場面を分けて見る。無作為マスクと根拠領域マスクの条件を合わせ、寄与指標の差を測る。

指示語との対応、段階をまたいだ説明の変化、可視化に必要な時間を記録する。成功例と失敗例を両方含め、人の診断が早くなるかも確認する。説明を加えただけで方策の誤り自体が直ったと扱わないことが重要になる。

限界と課題

確認できた本文では、指示段階は語への寄与分布から推定する柔らかい記述であり、作業の完了を判定するものではない。意味的一致の評価にも場面の注釈とCLIPによる対応付けが使われる。

編集上の確認課題は、画像を隠す評価への依存、雑音のある実映像、長い履歴での計算費用である。可視化の寄与は因果の完全な説明とは限らず、実機の安全性や移動能力を改善したと結論するには、別の制御・走行評価が必要になる。

研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

Explaining Navigation Decisions: Stage-Aware Visual Attribution for Vision-Language Navigation

As Vision-Language Models (VLMs) increasingly enable robots to follow language instructions, understanding their navigation decisions becomes important for reliable deployment. Existing explainability methods overlook a key challenge in Vision-Language Navigation (VLN): evidence for the current action may be distributed across historical and current observations and associated with different instruction stages. We identify instruction-stage insensitivity, where existing methods produce similar explanations despite changes across different navigation stages. To address this issue, we propose a stage-aware attribution framework for VLN. We first construct action-conditioned temporal instruction--visual attributions across observations. These attributions are projected into instruction space to estimate stage associations, which guide the aggregation of relevant historical evidence for refining the current explanation. An instruction-guided spatial filter further suppresses isolated responses while preserving compact, instruction-relevant regions. Experiments across multiple VLN policies and benchmarks show improved attribution quality over existing methods. We further demonstrate that our method acts as a diagnostic tool for analyzing failure cases, and validate its applicability to real-world navigation on a Unitree G1 robot.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集:2026-10-27