アーカイブ / VLM / Computer Vision
１時間規模の動画で「いつ」を探す：検索と時刻特定を分けて検証
ExtremeWhenBench
ExtremeWhenBenchの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: ExtremeWhenBench places a ∼ \sim 9 s event inside a 76 min video—a search space 153 × \times larger than Charades-STA at matched event grain. Grounding no longer reduces to recognition.
概要
- 著者らは、平均75.7分の動画194本と自然文の質問2,273件からなるExtremeWhenBenchを構築した。
- 同ベンチマークでのmIoUは、Qwen3.5-9Bのモデル別最良設定で0.110、CLIPによるフレーム検索で0.269だった。
- Qwenのフレーム数を768にそろえた比較では、検索後に時刻を特定する方式がmIoU 0.354となり、動画全体入力の0.053に対して6.7倍だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、ExtremeWhenBenchの仕組み
- 01動画と質問
- 02毎秒フレーム検索
- 03上位３候補を整理
- 04Qwenで時刻特定
- 05開始・終了時刻
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、長い動画への自然文の質問から、該当場面の開始・終了時刻を返す「時間区間特定」を扱う。たとえば講義中の説明を探す場合、場面を見分けるだけでなく、長い録画のどこを見るかを決める必要がある。
従来の評価には数十秒から数分の動画が多い。著者らは１時間規模の自然な動画と自由な言い回しの質問を使い、失敗の原因が関連場面の検索と時刻境界の決定のどちらにあるかを調べた。
手法
組み合わせ方式では、動画から毎秒１枚のフレームを取り、質問文との対応をCLIPで測って関連する時刻を探す。得点の高い上位３候補について前後１分の映像を取り出し、近すぎる候補は60秒を基準に重複を抑える。この処理は、同じ場面付近ばかりを候補に選ばないためのものだ。
次に、候補周辺の計６分の映像をQwen3.5-9Bに渡し、該当場面の開始・終了時刻を答えさせる。たとえば「講師が図を描く場面はいつか」なら、まず図を描く様子に対応するフレームを探し、続いてその周辺で場面の境界を決める。検索と時刻特定を順に行う構成である。
新規性
著者らは、１時間規模の動画に対する時刻特定を、質問に合う領域を探す「検索」と、その領域内で開始・終了時刻を決める「時刻特定」に分けて調べた。自然な言い回しの質問を備えたExtremeWhenBenchを構築し、両段階の影響を検証している。
質問文の多様さについても、一定の語数ごとに語彙の種類を測るMATTRで0.78を報告した。比較対象はTVBenchの0.60、Charades-STAの0.54であり、この比較は質問文の性質に限られる。
従来手法との違い
比較対象は、動画から選んだフレームをQwen3.5-9Bに渡して直接時刻を答えさせる方式と、CLIPでフレームを検索し、規則で区間を決める方式である。CLIPは文章と画像の対応を測るモデルで、検索後にQwenで時刻を決める組み合わせも試した。
ExtremeWhenBenchでは、各モデルの最良フレーム数でのQwenのmIoUは0.110、CLIP単独は0.269だった。組み合わせ方式の0.354と直接入力の0.053は、Qwenのフレーム数を768にそろえた別の比較であり、0.110と同条件の値ではない。
実験結果
著者らのExtremeWhenBenchは194本の動画と2,273問からなり、動画の平均長は75.7分、最長は約９時間である。mIoUは予測区間と正解区間の重なりの平均を表す。著者らはモデルごとにフレーム数を変え、許容される範囲で最良の設定を報告した。
表１のmIoUは、Qwen3.5-9BがCharades-STAで0.579、ExtremeWhenBenchで0.110、CLIPがそれぞれ0.332と0.269だった。表２ではQwenの768フレーム条件で、動画全体入力が0.053、検索後の時刻特定が0.354となり、著者らは6.7倍と報告する。検索失敗の85％は、Qwenの重なりが0.05未満だった事例から無作為に抽出した100件を分類した結果である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内研修の録画で、担当者が「講師が逆伝播の図を初めて描く場面」と入力し、開始・終了時刻と再生位置を得る。映像からフレームを取り出して候補を探し、その周辺だけを時刻特定モデルに渡す流れを想定する。
入力源は図や講師の動作が映る既存の研修動画と質問文である。既存モデルを使う初期検証なら専用の学習データは想定しないが、評価には質問ごとの正解区間ラベルが要る。追加センサーは想定せず、研修動画に合わせた候補幅の調整と精度確認が必要になる。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：図や講師の動作が映る研修録画を少数選び、担当者が自然文の質問と正解の開始・終了時刻を付ける。入力源はその録画で、必要なラベルは評価用の正解区間である。既存モデルを使う初期検証では専用の学習データや追加センサーを想定しない。
録画から一定間隔でフレームを取り、質問による検索、候補周辺での時刻特定を順に試す。動画全体を直接モデルに渡す方式と検索単独を比較基準にし、区間の重なり、正解場面が候補に含まれる割合、処理時間を測る。候補数や前後の幅を研修動画に合わせて変える場合は、評価用ラベルを使って結果を確かめる。
限界と課題
著者らは、場面記述の生成に単一の映像モデルを使ったこと、元動画のジャンルに評価範囲が依存することを限界として挙げる。身体装着カメラや監視映像での性能は別途測っていない。また、長さの近いMADやEgo4D NLQとは、質問文の多様さを直接比較できていない。
失敗を検索と時刻特定に分ける判定には、正解との時刻差が±５分という単一の境界を使い、別の境界での感度分析は今後の課題としている。編集上の検証事項は、研修録画でも検索候補に正解が入るか、画面外の発話だけで特定できる質問をどう扱うかである。
出典
元のタイトル・要旨を確認する（英語）
Natural-Language Temporal Grounding in Hour-Long Videos is a Search Problem: A Benchmark and Empirical Decomposition
Temporal grounding--returning the interval $[t_s, t_e]$ for a natural-language query over a video--is the language interface to long-form video, yet has been studied on short videos; the dynamics of hour-scale natural-language grounding remain underexplored. We take the position that at hour-scale, the binding constraint is search, not recognition: Video-LLMs are bottlenecked not by localizing a nearby event, but--given a natural-language query--by searching for the relevant region of a long video. To test this, we release ExtremeWhenBench, the first open hour-scale grounding benchmark (2,273 queries over 194 videos, mean 75.7 min, max 9 hr) with an open-form query distribution. Every open Video-LLM collapses while a frame-level retrieval baseline outperforms them; a failure taxonomy attributes 85% of failures to search; and a retrieve-then-ground hybrid recovers 6.7x over the monolithic Video-LLM--mirroring retrieve-then-read in open-domain QA.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01