アーカイブ / Audio / Computer Vision
映像に埋めた原音声を復元し、発話の改変区間を探す
Cross-Modal Watermarking
Cross-Modal Watermarkingの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Overall architecture of our model. The framework comprises three main processes: cross-modal watermarking (CMW), authentic audio recovery, and tamper localization. In the CMW process, CMW embed the authentic audio within a visual frame. For authentic audio recovery, noise estimators predict the transformed audio output from watermarked visual frame, enabling the inverse CMW to recover the authentic audio embedded in the visual frame. Finally, in tamper localization, we compute feature maps for both the recovered and tampered audio to generate a score that identifies the tampered regions.
概要
- 公開前に原音声の情報を映像へ埋め、改変後の映像から原音声の復元を試みる。
- 復元音声と検証対象の音声を発話内容に関わる特徴で比較し、改変区間を推定する。
- HDTFを用いた著者らの実験では、原音声復元のSNRは17.82、PESQは3.18だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Cross-Modal Watermarkingの仕組み
- 01原映像と原音声
- 02映像へ音声を埋込
- 03改変映像から復元
- 04音声特徴を比較
- 05復元音声と改変区間
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この手法は、映像にあらかじめ埋めた情報から原音声を復元し、発話が変えられた区間を探す。声の複製と、音声に合わせて口の動きを作る処理を組み合わせると、音声と映像の両方を改変した動画を作れる。
改変区間だけを示されても、元の発言内容は分からない。発言がどう変わったかを調べるには原音声が参照となるため、著者らはその情報を改変前の映像へ埋め込む方法を検討した。
手法
公開前に、映像フレームと対応する原音声を入力する。音声を、時間ごとの周波数成分を表すスペクトログラムへ変換し、映像とともに可逆ニューラルネットワークへ通す。これは計算を逆向きにもたどれる構造で、音声情報を映像へ目立ちにくい形で埋める。配信する音声自体は変えない。
検証時は、改変後の映像から復元に必要な情報を推定し、逆向きの計算で原音声を取り出す。次に、復元音声と検証対象の音声を、発話内容の違いを表しやすい数値列へ変換して時刻ごとに比べる。例えば発話の途中が別の声に置き換えられた動画では、復元音声と、異なると推定された区間を出力する。
新規性
著者らは、音声と口の動きがともに改変された動画から、改変区間の特定に加えて原音声を復元する課題を設定した。公開前に対応する音声の情報を映像フレームへ埋めるため、公開後に音声が置き換えられても映像から復元を試みられる。
復元音声と検証対象の音声を発話内容に関わる特徴で比べ、変更された時刻を推定する。区間の正解ラベルを使わずに学習する点も、著者らの提案に含まれる。
従来手法との違い
BAMとCFPRFは改変された音声区間を探す方式で、WavmarkとAudioSealは音声側に透かしを埋めて改変を調べる。著者らの比較表では、いずれも原音声の復元には対応しない。
提案法は映像側に透かしを埋め、配信する音声は変えない。HDTFでAudioSealより高い区間特定のAPを示した一方、映像への事前処理が必要である。この比較は、論文で設定した改変条件に限られる。
実験結果
著者らは、発話動画410本、計16時間のHDTFを使い、無作為に選んだ98本を学習、残る312本を評価に割り当てた。評価には各動画から選んだ5秒区間を使った。音声の10～30％を同じ話者の別区間に差し替える条件と、OpenVoiceによる複製音声に置き換える条件を設け、映像にはMuseTalkで口の動きを合わせる改変を加えた。
著者らの表1では、原音声復元のSNRは17.82、PESQは3.18だった。区間特定の平均適合率APは、別区間への差し替えで99.89、複製音声への置き換えで98.28。同じ条件でのAudioSealはそれぞれ98.23、97.43だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：記者会見の動画を公開する前に、発話と対応する映像フレームへ原音声を埋める。公開後に見つかった改変疑いの動画を入力し、復元音声と内容が異なると推定された時刻を担当者に示す。
学習には対応する映像と音声を用意し、会見動画に合わせて埋め込みと復元を調整する。区間ラベルは学習には不要だが、運用前の評価には用意する。追加センサーは想定せず、既存の映像と音声を使う。担当者が候補区間を聞き比べて判断する運用を検討する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：短い発話動画と対応する原音声を学習用に集め、対象動画に合わせて埋め込みと復元を調整する。追加センサーは使わず、公開前の映像と音声を入力として、埋め込み、保存、再取得、復元まで通して試す。
評価用には別の動画を用意し、音声を差し替えた時刻の正解ラベルを付ける。音声だけで区間を探す方式を基準に、復元音声のSNRとPESQ、区間特定のAP、埋め込み前後の映像品質を測る。実際の配信経路を通した後も同じ項目を確認する。
限界と課題
著者らは、口の動きを合わせる映像改変が透かしの一部を消し、復元を難しくすると説明している。HDTFでは、マスクなしの学習で復元品質が下がり、使用する口の動きの改変手法によって成績も変わった。
編集上の検証事項：再圧縮、切り抜き、字幕の重ね合わせを経た映像でも復元と区間特定ができるかは、導入先で確かめる必要がある。復元音声の誤りが発言内容の判断に及ぼす影響や、事前に透かしを埋めていない既存動画には適用できない点も確認したい。
出典
元のタイトル・要旨を確認する（英語）
Cross-Modal Watermarking for Authentic Audio Recovery and Tamper Localization in Synthesized Audiovisual Forgeries
Recent advances in voice cloning and lip synchronization models have enabled Synthesized Audiovisual Forgeries (SAVFs), where both audio and visuals are manipulated to mimic a target speaker. This significantly increases the risk of misinformation by making fake content seem real. To address this issue, existing methods detect or localize manipulations but cannot recover the authentic audio that conveys the semantic content of the message. This limitation reduces their effectiveness in combating audiovisual misinformation. In this work, we introduce the task of Authentic Audio Recovery (AAR) and Tamper Localization in Audio (TLA) from SAVFs and propose a cross-modal watermarking framework to embed authentic audio into visuals before manipulation. This enables AAR, TLA, and a robust defense against misinformation. Extensive experiments demonstrate the strong performance of our method in AAR and TLA against various manipulations, including voice cloning and lip synchronization.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01