アーカイブ / VLM
画像の情報を残し、層ごとに不要な演算を省く視覚トークン処理
Operator-Level Visual-Token Skipping
Operator-Level Visual-Token Skippingの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Overview of visual-computation reduction granularities for MLLM inference. Token pruning removes selected visual tokens, which disrupts spatial relationships and causes irreversible loss of visual evidence needed for reasoning. Layer-wise skipping preserves the token sequence but treats each Transformer layer as an indivisible unit, failing to fully exploit the distinct roles of attention and FFN operators. Our operator-level skipping selectively skips attention, FFN, or both while preserving the full visual-token sequence.
概要
- 視覚トークンを全件残し、層ごとに視覚側の注意機構、FFN、または両方の更新を省く。
- 画像と質問による調整では、通常モデルの出力との差を測り、正解ラベルなしで方針を決める。
- 著者らはQwen3-VL-8Bの20層設定で、TFLOPsを33.7％削減し、10件の平均スコア比99.5％を報告した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Operator-Level Visual-Token Skippingの仕組み
- 01画像と質問文
- 02演算別の影響測定
- 03層別の省略方針
- 04回答文
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
画像と文章を扱うモデルは、画像を視覚トークンという情報の単位に変え、質問文と一緒に処理する。画像の解像度などに応じてトークンが増えると、回答を生成し始める前の計算も増える。
視覚トークンを削れば計算は減るが、質問に必要な細部を失うおそれがある。著者らは、後半の層で視覚側の値が大きく変わっても、その変化が回答側にほとんど届かない場合に着目した。
手法
まず少数の画像と質問を使い、各層で視覚側の注意機構、FFN、または両方を一時的に省いた場合の次の語の出力確率を調べる。注意機構はトークン間の情報を取り込む演算、FFNは各トークンの表現を変換する演算である。通常出力との確率分布のずれを演算別のリスクとし、二つの個別リスクの合計が小さい層から、省略数の予算に応じて選ぶ。
選んだ層ではリスクが小さい演算を省き、両方を省いたリスクも十分小さければ視覚側の更新を止める。例えば標識の文字を問う場合も、画像の全トークンを保持したまま、決めた方針で回答文を生成する。方針はモデルごとに固定され、文章側の計算は通常どおり続ける。
新規性
著者らは、視覚トークンの更新量が大きくても、回答を決める文章側の表現への影響は小さい場合があると分析した。そのうえで、層全体を一律に省く方法より細かく、注意機構とFFNの必要性を層ごとに判断する。
画像から得たトークンの列は維持し、選んだ層で注意機構、FFN、または両方の視覚側更新を省く。判断には正解ラベルではなく、通常モデルの出力とのずれを用いる。
従来手法との違い
視覚トークンを削る手法は処理する列を短くし、層単位のスキップは視覚側の注意機構とFFNをまとめて省く。提案法は全トークンを残したまま、各層で省く演算を選ぶ。
著者らはVTW、ShortV、V-Skip、V2Drop、APETと比較した。Qwen3-VL-8Bの表では提案法の平均スコア維持率が最も高い。一方、LLaVA-1.5-7BではVSkip+が提案法を上回っており、全モデルで優位とはいえない。
実験結果
著者らはLLaVA-1.5-7B、Qwen2.5-VL-7B、Qwen3-VL-8Bを、GQA、TextVQA、OCRBenchを含む10件のベンチマークで評価した。方針の調整にはGQA、POPE、TextVQA、MME、MMMU、ScienceQAから各77例を使い、正解ラベルを用いず演算別リスクを測った。
著者らの表では、Qwen3-VL-8Bで20層を選ぶ設定のTFLOPsは通常モデルの約66％、10件の平均スコア比は99.5％だった。本文はTFLOPsの削減率を33.7％と報告する。同モデルのTextVQAで測った初回トークンまでの時間は、通常465.1ミリ秒、提案法344.8ミリ秒だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：建設現場の点検写真について、担当者が標識の文字や設備の状態を尋ねる画像問答に適用する。入力は撮影済み写真と質問文、出力は回答文とし、通常モデルの回答と並べて担当者が確認する。
方針の調整には対象現場の写真と質問の組を集める。提案法の調整に正解ラベルは不要だが、採用判断には人が確認した正答を別途用意する。既存写真を使う想定なら追加センサーは要しない。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象業務の撮影済み写真と質問を集め、通常モデルの回答、演算量、初回トークンまでの時間を基準にする。別の写真と質問を調整用に確保し、演算別リスクから層ごとの省略方針を決める。再学習用データと調整時の正解ラベルは不要で、既存写真を使うなら追加センサーも要しない。
評価用の写真と質問には人が確認した正答を付ける。通常版と省略版で正答率、文字の読み違い、初回トークンまでの時間を比べ、省略する層数を変えて許容できる回答差を確認する。
限界と課題
著者らは、省略対象の層を増やしすぎると、細部や文字を扱う課題を含め成績が下がると報告している。また、実際の処理時間は演算量だけで決まらず、実装、メモリ移動、計算資源の利用状況にも左右されると説明する。
編集上の検証事項は、小さな文字や見落としやすい対象で回答が変わる頻度、対象モデルに適した省略層数、実運用での初回トークンまでの時間である。公開ベンチマークの結果から現場写真での精度は判断できない。
出典
元のタイトル・要旨を確認する（英語）
Attend, Transform, or Silence: Operator-Level Visual Skipping for Efficient Multimodal LLM Inference
Multimodal large language models (MLLMs) increasingly process long visual-token sequences, increasing the overall inference computation. Existing acceleration methods usually remove visual tokens or skip visual-token updates in entire layers, but these coarse strategies may discard fine-grained evidence or suppress useful operators together with redundant ones. In this paper, we study visual-token computation from an answer-observable perspective and find that late visual-token updates can remain large while having little effect on answer-token representations. Motivated by this answer-silent redundancy, we decompose each Transformer layer into attention and FFN operators and show that useful visual computation is often operator-dominant and layer-dependent. We propose an operator-level visual-token skipping framework that preserves the full visual-token sequence while selectively bypassing redundant attention, FFN, or both. Experiments across three MLLM architectures and 10 VQA benchmarks show that our method achieves strong efficiency-accuracy trade-offs, reducing \textbf{33.7\%} TFLOPs on Qwen3-VL while retaining \textbf{99.5\%} of the vanilla model performance.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01