アーカイブ / Computer Vision
二層格子の縞と位置の動きから、動画の撮影過程を確かめる
Moiré Video Authentication
Moiré Video Authenticationの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : (a) The Moiré effect, created by overlaying two repetitive layers. (b) Our prototype Moiré signature assembly. Viewing the assembly from slightly different camera angles (left vs. right) causes the fringes to shift in phase according to deterministic physical laws. (c) In a real video, Moiré fringes appear naturally and shift predictably with camera movement. (d) In an AI-generated video, the fringes distort, and their phase shifts do not adhere to the underlying physics.
概要
- 二層格子のモアレ縞の位相と、格子の並進による画像上の移動との相関を動画から調べる。
- 著者らの評価条件では、相関係数の絶対値の平均は実写0.87、選別後の生成動画0.57だった。
- 検証には格子が写り、格子とカメラの間に相対運動がある動画が必要である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Moiré Video Authenticationの仕組み
- 01二層格子の動画
- 02格子と縞の抽出
- 03位相追跡と回転補正
- 04区間別の相関値
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
二層格子が写る動画から、縞の動きと格子自体の動きが撮影時の光学的な関係に沿うかを調べる研究である。モアレは、細かな周期模様を重ねると見える大きな縞を指す。
生成映像の見た目だけでは由来を判断しにくい場面で、著者らは撮影に伴う物理的な変化を手掛かりにする。格子を見る角度が変わると縞も移るため、両者の動きの整合性を動画から測れる。
手法
各フレームで格子の四隅にあるArUcoマーカーを検出する。これは画像内で位置を特定するための印刷された目印で、四隅を使って格子領域を正面から見た形に補正する。縞の画像を一本の明るさの変化にまとめ、周期的な明暗から縞の位相を取り出して時間とともに追う。
同時に格子の画像上の位置を追い、四隅の対応から推定したカメラの向きを使って、回転による見かけの移動を除く。残った並進移動と位相の系列について、30フレームの窓ごとにピアソン相関を計算する。例えば札を着けた人が動く動画なら、縞のずれと札の移動が連動する度合いを区間ごとに出す。
新規性
著者らは、撮影場面に置いた二層格子のモアレ縞を、動画認証のための受動的な目印として使う。縞の位相変化と格子の並進による画像上の移動が、光学的な幾何関係によって線形に結び付くことを導いた。
位相は縞の周期内での位置を表す。撮影距離は導出した関係から消え、相関の計算には比例係数を事前に知る必要もない。ただし、撮影時の回転による見かけの移動は補正する。
従来手法との違い
著者らが挙げる従来法には、画素や時間的な不整合を探す事後検出と、作成時に来歴情報を付ける方式がある。本手法は撮影場面に格子を置き、映像に記録された縞と格子の動きの関係を調べるため、格子が写った動画が対象になる。
物理信号を使う先行研究には、変化する光を投射する方式もある。本研究の試作は受動的な二層格子と通常の相対運動を利用する。確認できた本文の範囲では、これらの方式との同一条件での性能比較は示されていない。
実験結果
著者らは、12人・29場面で撮影した実写87本、物理ベースの描画70本、実写の初期フレームを条件に生成した動画321本を用意した。生成動画のうち大きな破綻がある229本を除き、92本を定量評価した。生成動画の縞領域の追跡には手動補正も加えた。
指標は位相と並進移動のピアソン相関係数の絶対値で、報告された平均は実写0.87、物理ベースの描画0.99、選別後の生成動画0.57だった。実写の収録数は87本だが、統計検定の標本数は86本と記される。確認できた本文の範囲では、この差の理由は分からない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：記者会見の発言映像を確認するため、登壇者に二層格子の札を着けてもらう。入力は札が見え、札とカメラの間に相対運動がある収録動画とし、出力は区間ごとの相関値と、格子を追跡できなかった区間の記録とする。
検証器の学習用データを前提とせず、現場のカメラ映像を原データとして集める。評価には真正・加工済みの由来ラベルを付け、札の位置検出用の目印も撮影する。追加の環境センサーは想定せず、照明や動きに合わせた追跡手順の調整が必要かを確かめる。会見での有効性は未検証の仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：二層格子と四隅の位置検出用マーカーを撮影対象に付け、カメラとの相対運動がある短い動画を集める。原データはその撮影映像と、同じ場面を基にした評価用の生成・加工映像とする。各動画に由来ラベルを付け、追加の環境センサーや検証器の学習用データは前提としない。
格子追跡と回転補正を撮影条件に合わせて確認し、同じ長さの区間で相関値を算出する。比較基準には位相を使わず、格子の見た目と追跡成否だけを確認する手順を置く。ラベル別の相関分布と判定可能な区間の割合を測り、現場で閾値を設定できるかを調べる。
限界と課題
著者らは、格子表面の反射やぼけが追跡に影響し得ると述べ、回転推定にも改善の余地を認めている。理論と試作で扱う縞は一次元であり、検証には格子とカメラの相対運動が必要なため、双方が静止した撮影は実験から除外された。
編集上の検証事項として、格子が小さく写る場面、遮蔽や再圧縮後に信号を読めるかを調べる必要がある。報告された平均相関だけでは実運用の判定閾値は決められない。格子が写らない動画について、この方式は認証結果を出せない。
出典
元のタイトル・要旨を確認する（英語）
Moiré Video Authentication: A Physical Signature Against AI Video Generation
Recent advances in video generation have made AI-synthesized content increasingly difficult to distinguish from real footage. We propose a physics-based authentication signature that real cameras produce naturally, but that generative models cannot faithfully reproduce. Our approach exploits the Moiré effect: the interference fringes formed when a camera views a compact two-layer grating structure. We derive the Moiré motion invariant, showing that fringe phase and grating image displacement are linearly coupled by optical geometry, independent of viewing distance and grating structure. A verifier extracts both signals from video and tests their correlation. We validate the invariant on both real-captured and AI-generated videos from multiple state-of-the-art generators, and find that real and AI-generated videos produce significantly different correlation signatures, suggesting a robust means of differentiating them. Our work demonstrates that deterministic optical phenomena can serve as physically grounded, verifiable signatures against AI-generated video.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01