表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

長い動画の画質をAIは説明できるか:局所・場面間・全体を問うLongVQUBench

LongVQUBench

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

LongVQUBenchの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Figure 1 : Long-term duration videos from LongVideoBench  [ 57 ] , MLVU  [ 77 ] , and LongVideoReason  [ 8 ] are first aggregated and tagged, followed by a filtering and removal process to achieve the target distribution of LongVQUBench.

出典:LongVQUBench / arXiv ↗

概要

  • 局所的な劣化、離れた出来事の比較、動画全体の画質判断を分けて評価する。
  • 約1200本の長い動画と1500問を使い、14モデルを追加学習なしで評価した。
  • 検証用データのGPT-5では、256フレーム時のCQR欄が81.2、GQU欄が65.8だった。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、LongVQUBenchの仕組み

左から右へ読む
  1. 01高画質の元動画
  2. 0215秒に分割
  3. 03劣化を加えて再結合
  4. 04画質の質問と正解

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

LongVQUBenchは、長い動画の画質を視覚言語モデルが理解できるかを調べる評価用データセットである。視覚言語モデルとは、映像と文章の質問を受け取り、文章で答えるAIを指す。

長時間の映像では、一瞬のぼけを見つけるだけでなく、離れた場面の劣化を比べ、全体を通した画質の変化を判断する必要がある。短い動画を中心とする評価だけでは、こうした作業をどこまで任せられるか判断しにくい。

手法

著者らは収集した動画を画質で分け、高画質の元動画に限って制御した劣化を加える。元動画を15秒の区間に分け、画面の見え方に関わる空間的な劣化や、動きの連続性に関わる時間的な劣化を設定してから、長い動画に戻す。劣化した場面を基に質問と正解を作り、複数の専門家が確認する。

質問は、一つの劣化を調べるLQU、複数の劣化を比べるCQR、動画全体を判断するGQUに分かれる。例えばCQRでは、離れた二つの場面のどちらで劣化が強いかを問う。まばらな劣化を問うNDQAも各段階に入る。評価時にはフレームを時間順に抽出し、動画の長さなどと質問を一度の入力にまとめてモデルに答えさせる。

新規性

著者らが提案するのは、長い動画の画質理解を、局所的な劣化、離れた出来事の比較、動画全体の判断という三つの時間範囲で調べる評価設計である。一つの場面を見つける能力と、複数の場面を踏まえて判断する能力を分けて見られる。

さらに各段階に、まばらに挿入した劣化を問うNDQAを組み込む。これにより、目立つ場面の内容を説明できるかだけでなく、映像の見え方や動きの小さな変化に気づき、説明できるかを調べる。

従来手法との違い

従来の画質評価用データは短い動画を中心に扱う。著者らが比較表に載せたQ-Bench-Videoは画質に関する質問を含み、平均動画長は10秒だが、時間範囲を分けた評価には対応しない。

LongVQUBenchは数分から約2時間の動画を扱い、局所、場面間、全体という範囲ごとに質問を設ける。一方、比較表のLongVideoBenchは長い動画を扱うが、対象は出来事の理解であり、画質理解ではない。これは評価対象と設計の比較で、モデルの性能差を示すものではない。

実験結果

著者らは約1200本の動画と1500問で、14の視覚言語モデルを追加学習なしで評価した。質問の設計上の区分ごとに40%を検証用、60%をテスト用に分け、検証用で抽出フレーム数を選ぶ。示された表の数値は、最大毎秒1フレームで抽出した検証用データの結果である。

その表でGPT-5のTotal欄は8フレームで70.5、256フレームで74.1。256フレーム時のCQR欄は81.2、GQU欄は65.8だった。著者らは、動画全体の画質判断が難しいことを示す差と解釈している。これらは検証用の数値であり、テスト用データでの同じ差を示すものではない。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:施設の既存カメラで撮影した長時間の録画から、途中のちらつきやぼけを担当者が探す作業に使う。録画と画質に関する質問を入力し、AIが挙げた発生時刻、劣化の種類、判断理由を担当者が該当場面と照合する。

追加学習をしない試行なら学習用動画は不要だが、検証には現場の録画と、人が付けた時刻・種類の正解ラベルが要る。センサーは既存カメラとし、フレームの抽出方法と質問文を録画の長さや点検目的に合わせて調整する。現場で役立つかは別途確かめる。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:既存カメラの録画から長さの異なる動画を選び、人がちらつきやぼけの種類と発生時刻を記録する。追加学習をしない試行なら学習用動画は不要で、この記録を検証用の正解ラベルにする。必要なセンサーは録画に用いた既存カメラである。

同じ質問について、短い区間だけを見る方法を比較基準とする。現場の録画に合わせて抽出フレーム数と質問文を調整し、劣化の検出数、発生時刻のずれ、種類の一致、見落としを動画の長さ別に数える。担当者がAIの回答に対応する場面を見直せるかも確認する。

限界と課題

著者らは、評価したモデルで動画が長くなり、問われる推論が深くなるほど成績が下がると報告する。離れた時点の情報を結び付ける判断や、劣化の特定には課題があるという解釈であり、個々の録画で必ず同じ失敗が起きるという意味ではない。

編集上の検証事項:確認できた本文の範囲では、テスト集合の数値結果と自由記述回答の採点詳細を確認できない。また動画数は要旨の「1200本超」と本文・表の「1200本」で異なる。現場適用前には、録画条件ごとの見落としと人の判定との一致を調べたい。

研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

LongVQUBench: Benchmarking Long-Term Video Quality Understanding of Vision-Language Models

The evaluation of long-term video quality understanding remains an open challenge for large vision-language models (LVLMs). Existing video quality benchmarks predominantly focus on short clips and isolated distortions, overlooking the temporal continuity, cumulative degradation, and reasoning complexity inherent in long-duration content. To address these limitations, we present LongVQUBench, a comprehensive benchmark for long-term video quality understanding. LongVQUBench contains over 1200 diverse videos spanning movies, documentaries, surveillance footage, egocentric recordings, and animated content, accompanied by 1500 multiple-choice and open-ended questions for validation and testing. To assess perceptual reasoning across different temporal scopes, we introduce three progressively complex evaluation levels: (i) local event quality understanding (LQU) for analyzing localized distortions; (ii) cross-event quality reasoning (CQR) for integrating multiple degraded events; and (iii) global quality understanding (GQU) for holistic perceptual evaluation over extended durations. Furthermore, a needle distortion question-answering (NDQA) paradigm is embedded across all three levels, where spatial or temporal artifacts are sparsely inserted to probe fine-grained detection and reasoning capabilities. Extensive experiments on 14 state-of-the-art LVLMs reveal significant performance degradation with increasing video length and reasoning depth, highlighting their limited capacity for long-range temporal integration and perceptual attribution. We envision LongVQUBench as a foundational step toward the systematic, hierarchical, and explainable evaluation of LVLMs' long-term video quality understanding.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01