アーカイブ / Computer Vision
動画の真偽判定で、顔の見た目と動きへの注目を可視化するVIBA
VIBA
VIBAの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 3: Pre-processing pipeline for optical flow maps.
概要
- VIBAは情報ボトルネック説明法を動画列に適用し、顔画像の見た目とフレーム間の動きについて、モデルが注目した箇所を示す。
- 著者らの評価では、VIBA追加前後の正解率はXceptionで81.51％と81.47％、VGG11で79.96％と79.87％だった。
- 偽動画27本で、人の多数決による最多の注目領域が説明図にも現れた割合は、Xceptionで62.96％、VGG11で40.74％だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、VIBAの仕組み
- 01人物動画
- 02主要フレームと顔の抽出
- 03顔画像と動きの解析
- 04注目領域の表示
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
VIBAは、動画の真偽を判定するモデルが、顔のどこやどの動きに注目したかを示す手法である。ディープフェイクは人物映像を加工・生成した偽動画を指し、確認には一枚の顔画像の見た目だけでなく、場面が進む間の変化も関わる。
従来の画像向け説明法だけでは、連続するフレームの動きを使った判定を追いにくい。担当者がモデルの出力を点検するには、顔の領域とフレーム間の動きについて、それぞれ何が判定に関わったかを確かめる手掛かりが必要になる。
手法
動画をフレームに分け、主要なフレームを選んで顔を検出・切り出す。事前学習済みのXceptionは顔画像の見た目を扱い、VGG11を基に学習したモデルは連続する顔画像から作る光学フローを扱う。光学フローは、画像上の点がフレーム間でどちらへ動いたかを表す情報である。
両モデルの中間層にIBAという情報を絞る仕組みを置き、特徴に雑音を混ぜながら予測を保つのに必要な情報を探す。例えば口元の画像特徴が判定に関われば、その周辺が注目領域図に表れる。動き用モデルでは光学フローの注目箇所を示す。著者らは説明図を元のフレームに重ね、時間に沿って見られる動画にした。
新規性
VIBAは、画像向けの情報ボトルネック説明法を動画列に適用し、顔画像の見た目を扱うXceptionと、動きを扱うVGG11で注目箇所を示した。静止した領域だけでなく、フレーム間の動きに関わる領域も説明の対象にする。
著者らは説明図を元のフレームに重ね、動画として確認した。検証した用途はディープフェイク検出であり、ほかの動画分類課題での有効性はこの結果からは判断できない。
従来手法との違い
判定性能の比較基準は、同じXceptionとVGG11をVIBAなしで評価した結果である。VIBAを加えた後の正解率は両モデルともわずかに低く、再現率は同じだった。説明を加えて判定性能が向上した、という結果ではない。
関連手法のGrad-CAMは、モデル内部の勾配から注目領域を求める。VIBAは内部で通す情報を制限し、予測に必要な部分を探す方式である。確認できた本文の範囲では、両手法の説明品質を同じ条件で数値比較した結果はない。
実験結果
著者らは複数の既存データセットなどから集めた動画を70％・15％・15％に分割し、最後の15％で評価した。正解率はXceptionでVIBAなし81.51％、あり81.47％、VGG11でなし79.96％、あり79.87％だった。予測の確信度と実際の正解率のずれを示すECEは、Xceptionで0.1216から0.1210に下がり、VGG11では0.1244から0.1246に上がった。
説明図では、連続フレームの注目領域の重なりを表すIoUを測った。偽動画の平均はXceptionで0.8226、VGG11で0.7633。評価用の偽動画27本を8人が注釈し、人の多数決で最多だった領域が説明図にも現れた割合は、それぞれ62.96％と40.74％だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：報道機関が受け取った人物動画の確認画面に、真偽判定と、顔の見た目・動きについてモデルが注目した領域を表示する。担当者は元動画と説明を見比べ、出所など別の情報も踏まえて判断を記録する。
対象業務で用いるには、出所と真偽を確認した動画と動画単位の真偽ラベルが必要となる。人との一致も調べるなら、担当者が注目領域を記録する。入力は保存済み動画で、追加センサーは想定しない。顔の切り出しを確認し、動き用モデルを対象素材に適応させる要否を検討する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象業務の動画から、出所と真偽を確認できる素材を集め、動画単位の真偽ラベルを付ける。人との一致を測る対象には、複数の担当者が注目した顔の領域も記録する。入力は保存済み動画とし、追加センサーは用いない。
顔の切り出しと光学フローの作成を対象素材で確認し、必要なら真偽ラベル付き動画で動き用モデルを適応させる。同じ評価用動画でVIBAなしの判定を基準に、正解率とECEを比較する。説明については連続フレームでの領域の重なりと、人の注釈との一致を測り、担当者が解釈できるかも確認する。
限界と課題
著者らは、IBAの計算負荷と、雑音で情報を制限する仕組みへの依存を限界として挙げる。人が付けた注釈との一致は中程度で、動きの説明図は静止画の説明図より読み取りにくいとも述べる。真偽の最終判断は人が行うべきだとしている。
編集上の検証事項は、別の撮影条件や偽動画の生成方法でも説明が安定するか、顔を切り出せない動画をどう扱うかである。注目領域はモデルの予測に関わった場所を示す。そこに改変の証拠があると確定する表示として扱わない。
出典
元のタイトル・要旨を確認する（英語）
Extending Information Bottleneck Attribution to Video Sequences
We introduce VIBA, a novel approach for explainable video classification by adapting Information Bottlenecks for Attribution (IBA) to video sequences. While most traditional explainability methods are designed for image models, our IBA framework addresses the need for explainability in temporal models used for video analysis. To demonstrate its effectiveness, we apply VIBA to video deepfake detection, testing it on two architectures: the Xception model for spatial features and a VGG11-based model for capturing motion dynamics through optical flow. Using a custom dataset that reflects recent deepfake generation techniques, we adapt IBA to create relevance and optical flow maps, visually highlighting manipulated regions and motion inconsistencies. Our results show that VIBA generates temporally and spatially consistent explanations, which align closely with human annotations, thus providing interpretability for video classification and particularly for deepfake detection.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01