アーカイブ / VLM / Computer Vision
運転モデルは前方画像の何に頼るか：入力・情報量・配置を変えて調べる手法
Multi-Level Visual Perturbation Framework
Multi-Level Visual Perturbation Frameworkの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1 : Overview of the structured multi-level visual perturbation framework. Left: The VLA processing pipeline mapping multimodal inputs to driving actions. Right: Three families of visual perturbations applied at channel, information, and structure levels.
概要
- 画像入力、情報量、空間配置を個別に変え、運転モデルの視覚情報への依存を調べる診断法。
- Impromptu-VLAの3B版では、画像除去によりNavTestのMean L2 Errorが7.1%増え、NeuroNCAPのNCAP Scoreが14.6%下がった。
- 記録済み場面の軌道予測と対話的な安全評価では反応が異なり、著者らは両方での確認が必要だと論じる。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Multi-Level Visual Perturbation Frameworkの仕組み
- 01前方画像と車両情報
- 02画像か内部表現を加工
- 03将来軌道を予測
- 04指標を比較
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
視覚・言語・行動モデル（VLA）は、前方画像や車両の状態などを受け取り、将来の走行軌道を出す。軌道の予測誤差が小さくても、画像に写った障害物や道路の配置を判断に使ったかどうかは、その値だけでは分からない。
運転では、見えている情報が行動に結び付くかを確かめる必要がある。著者らは視覚入力を段階的に変え、軌道予測と対話的な運転評価の両方で行動がどう変わるかを調べた。
手法
まず、元の画像でモデルを動かし、軌道誤差または安全指標を基準値として記録する。次に、画像の除去や縮小後の拡大、視覚トークンの削除、配置の変更を別々の条件で試す。視覚トークンとは、画像をモデル内部で扱う情報の単位である。
たとえば画像を省く条件でも、車両状態と過去の情報は入力に残す。同じモデルで将来軌道を出し直し、評価指標が基準値からどれだけ変わったかを測る。配置変更では、画像内容とその位置の対応を乱す。差の符号は、軌道誤差と安全スコアで良し悪しの向きが異なるため、指標ごとに読む。
新規性
著者らは、視覚情報への依存を、画像入力の経路、情報量、空間的な配置という三つの水準で調べる枠組みを提案した。画像そのものを変える操作と、モデル内部の視覚トークンを変える操作を同じ手順で比較する。
記録済みデータでの軌道予測に加え、車の行動が次の状況に影響する対話的な評価も行う。評価方法によって視覚入力への反応がどう異なるかを調べる点も、この研究の主張である。
従来手法との違い
基準は、画像を加工せずに同じモデルを動かした結果である。著者らは各加工を推論時に一つずつ適用し、基準との差を指標ごとに比率でも示した。モデルの重みは更新していない。
従来の一般的な評価は、通常入力での軌道誤差や安全指標を測る。ここでは画像や内部表現を変えたときに同じ指標がどう動くかを測るため、比較結果は対象モデルの視覚条件ごとの反応を表す。
実験結果
著者らはImpromptu-VLAの3B版を評価した。記録済みの場面で予測するnuScenesのNavTestでは、1・2・3秒先の位置誤差の算術平均「Mean L2 Error (1–3s)」を測定。対話的なNeuroNCAPでは各場面を30回実行し、走行可能域からの逸脱も衝突失敗として扱うNCAP Scoreなどを平均した。
画像除去でMean L2 Errorは0.311mから0.333m（+7.1%）、NCAP Scoreは1.555から1.328（−14.6%）に変わった。Downsample(75%)ではそれぞれ0.318m（+2.3%）、1.132（−27.2%）。著者らは、記録済み場面の軌道誤差だけでは対話時の視覚依存を十分に捉えられないと解釈している。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：運転モデルの導入候補について、前方画像の細部を減らした場合と、内部の位置情報を乱した場合の反応を調べる。入力には対象モデルに合う前方RGB画像と車両状態・履歴が必要で、内部表現を扱う条件にはモデル側の調整も要る。
同じ場面で通常入力と加工入力から予測軌道を得て、安全指標と併せて差を一覧にする。軌道誤差を出すには時刻ごとの正解軌道が必要であり、対話時の安全性を測るには行動の結果を記録できる評価環境が必要となる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象モデルが受け取る前方RGB画像、車両状態、履歴をそろえ、まず通常入力で指標を測る。論文の対象モデルは過去6時点・3秒分の情報を使うが、必要な入力形式は採用候補に合わせて確認する。軌道誤差には正解軌道のラベルが要る。
次に画像除去と縮小後の拡大を一条件ずつ適用し、同じ場面で軌道誤差と安全スコアの変化を測る。安全評価には行動の結果を記録できる環境が必要で、内部トークンの操作には対象モデルへの実装上の適合が要る。元画像での結果を基準に差を確認する。
限界と課題
確認できた本文の範囲では、著者らが明示した研究全体の限界は確認できない。報告値はImpromptu-VLAの3B版をnuScenesのNavTestとNeuroNCAPで評価したもので、別のモデルや実車で同じ変化が起きるとは示していない。
編集上の検証事項は、画像以外の車両状態や履歴の寄与と、別の場面での再現性である。Block-8で安全スコアが上がった理由について、著者らは慎重な運転への変化を可能性として挙げるが、原因を確定してはいない。
出典
元のタイトル・要旨を確認する（英語）
Does Visual Information Play a Decisive Role in Vision-Language-Action Model Driving Behavior?
Vision-Language-Action (VLA) models have demonstrated promising capability in autonomous driving, highlighting the potential of unified multimodal architectures for jointly modeling perception and planning. However, how current VLA-based driving behavior is grounded in visual information remains poorly understood. Existing evaluation protocols mainly focus on aggregate performance metrics, lacking structured and practical diagnostics to quantify visual-behavior dependency. In this work, we introduce a structured multi-level visual perturbation framework to analyze visual-behavior dependency in VLA-based driving models systematically. The framework organizes controlled visual perturbations along three complementary dimensions: channellevel degradation, information-level disruption, and structurelevel modification. We apply it to VLA-based driving systems and evaluate behavioral responses under both open-loop trajectory prediction and interactive closed-loop safety evaluation. Experimental results reveal evaluation-dependent dependency patterns and uneven visual grounding across abstraction levels. These findings call for more structured analyses and principled design of VLA driving models to better understand how visual information shapes behavior and develop safer, more robust systems.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01