アーカイブ / VLM / Computer Vision
運転場面の物体認識を途中の層で終えるAD-EE――精度と推論時間を検証
AD-EE
AD-EEの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: The Sparse R-CNN model, trained on Waymo, detects vehicles and e-bikes but misses animals and occluded objects. In contrast, Deepseek_VL2-small accurately identifies both, demonstrating robustness in complex urban settings.
概要
- AD-EEは、運転場面の物体分類で層の有無による精度変化を調べ、VLMの終了層を課題ごとに選ぶ。
- 著者らのCODA七分類の結果では、LLaVA-7Bの平均Accuracyは77.64%から99.84%、平均Latencyは0.033秒から0.014秒になった。
- 実車試験で評価されたモデルはDeepSeek-VL2-Tinyのみ。指示文や道路環境が変わる場合は、終了層と見落としを再検証する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、AD-EEの仕組み
- 01画像と分類指示
- 02終了層を探索
- 03選定層まで推論
- 04物体の分類結果
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
AD-EEは、運転場面の画像から物体を認識する画像言語モデル（VLM）の処理を途中の層で終える手法である。VLMは画像と文章を一緒に扱うが、多くの層を順に計算すると結果を得るまでに時間がかかる。
運転場面では、認識結果を後続の判断へ渡すまでの遅れが問題になる。著者らは、途中の層で分類できていても最後まで計算する「過剰推論」に着目し、課題に応じた終了位置を調べた。
手法
AD-EEは、画像と物体分類を求める文章をVLMに入力し、事前に選んだ層で計算を終える「早期終了」を行う。層とは、入力を順に処理するモデル内部の段階である。実行時は現在の層が設定した終了位置かを照合し、該当すれば分類結果を出し、違えば次の層へ進む。たとえば著者らは、WAYMOの車両分類でLLaVA-7Bの終了位置を全32層のうち14層とした。
位置を選ぶ段階では、まず全層を通した精度を基準にする。次に後ろの層を順に取り除き、精度の変化を調べる。候補が見つかると層を戻して元の結果が回復するか確かめ、さらに前の層も試す。著者らは、層を変えたときの結果への影響を調べるこの手順を因果推論に基づくものと説明している。
新規性
AD-EEは、運転場面の物体分類について、層を途中で省いたときの精度変化から終了位置を探す。全層の出力だけを基準に終了層を決めるのではなく、層の有無が結果に及ぼす影響を調べる点を著者らは特徴としている。
候補を見つけた後は、層を戻して元の精度が回復するか確認し、さらに前の層も試す。こうして選んだ終了層を、モデルと分類課題ごとに設定する。
従来手法との違い
比較対象は、同じ画像言語モデルを最後の層まで通す通常の推論である。AD-EEでは選んだ層で処理を終え、通過する層数を減らす。たとえばWAYMOの車両分類で、LLaVA-7Bは全32層に対して終了位置が14層だった。
著者らはDeepSeek-VL2-Tiny、DeepSeek-VL2-Small、LLaVA-7Bで両方式を比較した。終了位置はモデルと分類対象によって異なる。ある対象で選んだ層を別の対象にも使えるという結果は示されていない。
実験結果
著者らは、WAYMOの前方カメラ画像と難しい事例を扱うCODAで物体分類を評価した。WAYMOでは訓練集合から14,000枚を抽出し、分類課題ごとに終了層の選定用と評価用を8対1に分けた。比較指標はAccuracy（正解率）とLatency（推論時間）である。
CODAの七つの主要分類について、著者らの表4ではLLaVA-7Bの平均Accuracyが全層推論の77.64%からAD-EEの99.84%に、平均Latencyが0.033秒から0.014秒になった。実車試験も行ったが、対象モデルはDeepSeek-VL2-Tinyのみだった。これらは掲載された分類課題と条件での結果である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：道路映像を人が確認する業務で、前方カメラ画像と「歩行者・自転車・車両を分類する」という指示を入力し、分類結果を確認画面に表示する。出力は確認担当者が画像と照らし合わせるために使う。
必要なのは対象現場のカメラ画像、分類名、人が確認した正解ラベルである。新たなモデル学習用データが必要かは確認できた本文の範囲では不明だが、少なくとも終了層の選定用画像と独立した評価用画像を用意し、現場の分類名に合わせて指示文と終了層を選び直す。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象道路の前方カメラ画像を集め、業務で使う分類名と人が確認した正解ラベルを付ける。夜間や遮蔽のある画像も含め、終了層の選定用と評価専用に分ける。追加のモデル学習が必要かは本文で確認できないため、まずは既存モデルで選定できるか調べる。
同じモデル、分類指示、入力画像を使い、全層推論を基準としてAD-EEを比較する。分類ごとのAccuracyとLatencyに加え、見落とし件数を確認する。現場の分類体系に合わせた指示文と終了層の選び直しも検証する。
限界と課題
著者らは、実車試験では計算資源の制約によりDeepSeek-VL2-Tinyだけを評価したと述べる。また、指示文の種類を十分に調べておらず、異なる文面が結果に与える影響は今後の課題としている。
編集上の検証事項は、道路・天候が変わった場合の精度、少数の対象の見落とし、分類結果以外に必要な物体位置の品質である。実車試験の表5は平均Accuracyと掲載されたクラス別の値が整合しないため、その平均値を根拠に効果を判断できない。
出典
元のタイトル・要旨を確認する（英語）
AD-EE: Early Exiting for Fast and Reliable Vision-Language Models in Autonomous Driving
With the rapid advancement of autonomous driving, deploying Vision-Language Models (VLMs) to enhance perception and decision-making has become increasingly common. However, the real-time application of VLMs is hindered by high latency and computational overhead, limiting their effectiveness in time-critical driving scenarios. This challenge is particularly evident when VLMs exhibit over-inference, continuing to process unnecessary layers even after confident predictions have been reached. To address this inefficiency, we propose AD-EE, an Early Exit framework that incorporates domain characteristics of autonomous driving and leverages causal inference to identify optimal exit layers. We evaluate our method on large-scale real-world autonomous driving datasets, including Waymo and the corner-case-focused CODA, as well as on a real vehicle running the Autoware Universe platform. Extensive experiments across multiple VLMs show that our method significantly reduces latency, with maximum improvements reaching up to 57.58%, and enhances object detection accuracy, with maximum gains of up to 44%.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01