アーカイブ / Computer Vision
AI生成動画の検出器は何を見ているのか――フレームの重複と動きの偏りを検証
Dataset Biases and Shortcut Learning in Motion-Based AI-Generated Video Detection
Dataset Biases and Shortcut Learning in Motion-Based AI-Generated Video Detectionの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Distributions of the mean, minimum and maximum distance values of all unbiased samples in the test set of VidProM, as used by ReStraV. AI-generated videos tend to have lower distance values than real videos, which contradicts the theoretical assumptions and evaluations of the original ReStrav paper.
概要
- D3、ReStraV、NSG-VDでは、フレーム抽出や前処理に由来する偏りが見つかった。
- ５データセット中４つで実動画と生成動画の動きの分布に差があり、３手法は分布をそろえるとAUCが低下した。
- 導入先の正解ラベル付き動画で入力条件をそろえ、単純な動きの指標とも比較して判定の根拠を確かめる。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Dataset Biases and Shortcut Learning in Motion-Based AI-Generated Video Detectionの仕組み
- 01実動画・生成動画
- 02フレームを抽出
- 03動き別に再配分
- 04判定AUCを比較
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
連続する画像の変化を使い、実動画かAI生成動画かを判定する方法がある。しかし両群でフレームの取り出し方や圧縮、動画の長さが違うと、判定器が生成の特徴とは別の差を手掛かりにする可能性がある。
このような手掛かりへの依存を「ショートカット学習」という。評価用データで成績が高くても、別の作り方をした動画に通用するとは限らないため、入力条件と動画の動き方を分けて確かめることが重要になる。
手法
著者らはまず４手法の入力作成を調べた。D3では、GenVideoの実動画が毎秒３フレームで保存されている一方、検出時には毎秒８フレームで取り出すため同じ画像が続く。元の毎秒25～30フレームの実動画に替え、重複の影響を調べた。ReStraVでは短い動画などのフレーム補完を、NSG-VDでは抽出間隔と圧縮・解像度の差を検証した。
次に５データセットで、フレームごとの平均画素値の標準偏差を動きの目安とした。標準偏差は値のばらつきで、動きだけを直接測る値ではない。この値を100区間に分け、各区間で実動画と生成動画を同数に減らした。共通条件で取り出したフレームを３手法に入力し、生成動画の無作為な１フレームをぼかす条件とも比べた。
新規性
著者らは、動きを手掛かりにする４つの既存検出器について、入力を作る際の偏りと、評価データに含まれる動きの偏りを調べた。高い判定成績の一部が、動画の生成方法と直接関係しない差に支えられていると報告する。
５データセットの動きを分析し、うち３手法を共通の抽出条件で再評価した。動きの分布をそろえる実験と、生成動画の１フレームをぼかす実験により、判定値がどれほど変わるかも調べている。
従来手法との違い
調査対象はD3、ReStraV、Over-Coherence、NSG-VDの４手法である。入力作成の検証ではD3、ReStraV、NSG-VDに偏りを特定した。動きの偏りを調べる共通条件の実験では、D3、ReStraV、Over-Coherenceの３手法を評価した。
比較の基準は、元のデータや処理条件で得た結果である。共通条件ではReStraVを再学習し、Over-Coherenceの判定設定も変更しているため、元の報告値との差を処理変更だけの効果とは読めない。著者らは周波数情報を使う既存手法WaveRepも５データセットで評価し、高い性能を維持したと述べるが、確認できた本文の範囲ではその数値は示されていない。
実験結果
著者らによると、GenVideoで各クラス最大1000本を使ったD3の平均AUCは、毎秒３フレームの実動画を使う条件の0.9730から、元の高フレーム版に替えると0.7994になった。AUCは判定値による識別度で、0.5が無作為な判定に相当する。
動きの共通条件評価では、５データセットのうちGenBuster++で３手法が無作為に近い結果だったと著者らは報告する。他の４データセットで動きの分布をそろえた際のAUC低下幅はD3が0.0970、ReStraVが0.0650、Over-Coherenceが0.1127。１フレームをぼかした際は同順に0.3795、0.2723、0.5693だった。確認できた本文の範囲では、表４のデータセット別数値は確認できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内に届く広報用動画を、人が確認する順番を決めるために試験的に判定する。入力は出所を確認できる実動画と生成動画、出力は動画ごとの判定値と確認記録とし、担当者が元動画を見て判断する。
検証には、自社で扱う撮影・編集済み動画と生成動画、実写・生成の正解ラベルが要る。入力は動画のフレームを使い、追加センサーの値は想定しない。ReStraVを使う場合は、共通のフレーム抽出条件に合わせた再学習の要否を確かめる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：出所を確認できる実動画と生成動画を集め、各動画に正解ラベルを付ける。静かな場面と動きの多い場面、短い動画も記録する。入力に使うのは動画のフレームで、追加センサーは予定しない。フレーム抽出、画像サイズ、保存形式を両群でそろえ、必要なら候補手法をその条件に合わせて再学習する。
候補手法と、平均画素値の標準偏差だけで判定する簡単な基準を同じ動画で比べる。全体と動き別のAUC、動きの分布をそろえた後のAUC低下幅、１フレームをぼかした際の判定変化、実動画の誤判定数を記録する。
限界と課題
著者らは、D3のフレーム重複、ReStraVの短い動画などでのフレーム補完、NSG-VDの動画長や圧縮・解像度に結び付く差を報告した。動きの再配分とぼかしによる低下幅は３手法の結果であり、４手法すべてに同じ数値を当てはめることはできない。
編集上の検証事項は、導入先でも実動画と生成動画の動きや前処理に差があるか、撮影・編集後の動画で誤判定が増えるかである。著者らの結果は検証したデータと条件に限られ、WaveRepを含め実運用時の誤判定率を保証するものではない。
出典
元のタイトル・要旨を確認する（英語）
Dataset Biases and Shortcut Learning in Motion-Based AI-Generated Video Detection
The visual quality of AI-generated videos has improved drastically in recent years, making it increasingly difficult for humans to distinguish between real and synthetic media. In this work, we evaluate the robustness and applicability of four state-of-the-art motion-based AI-generated video detectors. We identify significant preprocessing and sampling biases in these methods and demonstrate that they account for a substantial portion of their reported performance. Furthermore, we find that these detectors are highly sensitive to motion patterns specific to their evaluation datasets, where AI-generated videos generally exhibit less inter-frame movement than real videos. We show that for all detectors, performance collapses to near-random levels when evaluated on a dataset that does not contain this motion bias. Additionally, through dataset rebalancing and the application of simple spatial augmentations, we observe severe performance degradation across all evaluated models. In contrast, we find that an existing frequency-based detector maintains strong performance across all evaluated datasets, suggesting that frequency-based approaches may offer a more generalizable path forward for AI-generated video detection. We hope that our work raises awareness towards these vulnerabilities and encourages the development of more representative, unbiased datasets and more robust evaluation protocols.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01