アーカイブ / VLM / Computer Vision
動画への質問に合わせ、場面の細部と動きの情報を選ぶ手法
Explore-then-Select
Explore-then-Selectの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Different question types vary in their dependence on static and dynamic information in videos. For example, Question 2 relies on fine-grained dynamic information, while Question 1 and 3 only require static frames. The frames needed to answer the questions are highlighted with corresponding colored boxes.
概要
- 質問に応じ、場面の細部とフレーム間の変化を残す割合を選ぶ。
- Qwen2-VL-7BのVideoMME全体では、128フレーム抽出・32フレーム相当の予算で正答率が57.6％から61.4％になった。
- 候補の評価には時間がかかり、MSVD-QAのLLaVA-OneVisionではRetrievalが正答率で0.1ポイント上回った。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Explore-then-Selectの仕組み
- 01動画と質問
- 02配分候補を作成
- 03第2層で評価
- 04回答文
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
動画への質問に答えるモデルは、映像を細かく読むほど入力トークンが増える。著者らの例では、毎秒1枚を抽出し、1枚当たり196トークンで5分間を扱うと約6万トークンになる。入力可能な量に上限があるため、残す情報を選ぶ必要がある。
物の表示を読むには一場面の細部が役立ち、動作の順序を知るには場面間の変化が要る。質問の違いに合わせて、限られた入力枠をどう配分するかが課題となる。
手法
まず動画から予算を超える数のフレームを抽出し、同じ長さのトークン列を複数作る。各候補では、等間隔で選んだフレームのトークンをすべて残す。その間のフレームでは、直前の選択済みフレームの同じ位置と特徴が大きく異なるトークンを残し、元の順序に並べる。候補ごとに、場面の細部と変化の情報の割合が異なる。
次に、各候補と質問を動画言語モデルの第2層まで通す。「注意度」は質問の語が入力中の情報を参照する強さを表す。映像トークンごとに質問の語からの注意度の最大値を取り、それらを合計して最も高い候補を選び、回答を生成する。例えば表示を読む質問と動作を追う質問で、選ばれる配分が変わり得る。
新規性
著者らの主張は、同じトークン予算の中で、場面の細部を残すフレームと、場面間の変化を残すトークンの割合を質問ごとに選べる点にある。トークンとは、モデルが処理する画像や文章の情報単位を指す。
候補を動画言語モデルの第2層の注意度で評価し、言語モデルへ渡す前に映像トークンを絞る。候補の作成と選択のためにモデルの重みを更新する必要はない。
従来手法との違い
Originalは予算に収まる数のフレームを等間隔で抽出する。Retrievalは多めに抽出してから質問との類似度でトークンを削り、Similarityは隣接トークン間の類似度で削る。本手法は静止情報と変化情報の配分が異なる候補を作って選ぶ。
著者らはLongVUの圧縮部分も学習なしで再実装して比較した。予算に合わせる最終段階では元手法の閾値による削減を上位候補の選択に変更しており、LongVU全体を元の条件で比較した結果ではない。
実験結果
著者らは長い動画のEgoSchemaとVideoMMEを、Qwen2-VL-7BとLLaVA-OneVision-7Bで評価した。選択式問題の指標は正答率である。Qwen2-VL-7Bで128フレームを抽出し、32フレーム相当の予算とした条件では、VideoMME全体がOriginalの57.6％に対し本手法は61.4％、中程度の長さの区分は55.2％に対し61.0％だった。
短い動画のMSVD-QAでは64フレームを抽出し、16フレーム相当を予算とした。自由回答をGPTで採点した結果、LLaVA-OneVisionの正答率は本手法が54.7％、Retrievalが54.8％だった。これらは各データセットとモデルに限った結果である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：設備点検の保存映像について、「表示板に何と書かれているか」「弁を操作した順序は何か」と質問できる画面を試す。入力は映像と質問文、出力は回答文と担当者が確認する元映像への参照とする。
映像源は既設カメラの記録を想定し、新たなセンサーは前提としない。手法の追加学習用データや正答ラベルは要らないが、運用評価には質問と人が確認した正答を用意する。現場の画角や対象物に合わせた抽出設定が必要で、有効性は仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：既設カメラの点検記録から少数の映像を選び、表示の読み取りと操作順序について質問を作る。担当者が映像を見て正答ラベルを付け、現場の画角と対象物に合わせてフレーム抽出数とトークン予算を設定する。追加のセンサーや本手法の学習用データは前提としない。
同じ映像、質問、予算で、等間隔抽出のOriginalと本手法を比べる。質問別の正答率、誤った時点を答えた件数、最初の回答までの時間を測り、表示と動作に分けて集計する。導入効果はこの試験で判断する。
限界と課題
著者らは、モデルごとの位置情報の表し方によって、動画の長さや出来事の時点を正確に捉える能力が変わり得ると述べる。また、候補の評価には時間がかかり、28層のモデルで16候補を順番に処理した条件では、最初の回答トークンまでの時間が2倍になったと報告する。
編集上の検証事項は、点検映像で操作の時点や順序を誤らないか、候補数に応じた待ち時間が許容できるかである。短い動画の一部条件ではRetrievalが本手法をわずかに上回ったため、用途とモデルごとに確認したい。
出典
元のタイトル・要旨を確認する（英語）
Static or Dynamic: Towards Query-Adaptive Token Selection for Video Question Answering
Video question answering benefits from the rich information in videos, enabling various applications. However, the large volume of tokens generated from long videos presents challenges to memory efficiency and model performance. To alleviate this, existing works propose to compress video inputs, but often overlook the varying importance of static and dynamic information across different queries, leading to inefficient token usage within limited budgets. We propose a novel token selection strategy, \textsc{explore-then-select}, that adaptively adjusts static and dynamic information based on question requirements. Our framework first explores different token allocations between key frames, which preserve spatial details, and delta frames, which capture temporal changes. Then it employs a query-aware attention-based metric to select the optimal token combination without model updates. Our framework is plug-and-play and can be seamlessly integrated within diverse video language models. Extensive experiments show that our method achieves significant performance improvements (up to 5.8\%) on multiple video question answering benchmarks. Our code is available at https://github.com/ANDgate99/Explore-Then-Select .
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01