表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

埋め込み音声の対から学ぶ電子透かし除去手法HarmonicAttack

HarmonicAttack

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

HarmonicAttackの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

(a) Watermarked audio spectrogram with red boxes indicating watermark regions.

出典:HarmonicAttack / arXiv ↗

概要

  • 対象方式の埋め込み手段で原音声と透かし付き音声の対を作って学習し、除去時には検出器を使わない。
  • 著者らはVCTKのAudioMarkNet評価でASR 92%、比較対象中の最高値38%と報告した。
  • 導入前には、同じ評価音声と判定条件で透かし検出率、音質、処理時間を確かめる必要がある。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、HarmonicAttackの仕組み

左から右へ読む
  1. 01透かし付き音声
  2. 02波形と周波数を解析
  3. 03特徴を結合・復号
  4. 04透かし除去音声

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

HarmonicAttackは、音声に埋め込まれた電子透かしを除去する方法だ。電子透かしは、音声の出所を後から調べるために埋め込む信号を指す。AI生成音声によるなりすましを考えると、透かしを付けるだけでなく、どの程度消されにくいかを調べる必要がある。

従来の除去試験には、対象の検出器を使えることを前提とする手法がある。検出器を公開しない運用でも耐性を調べられる方法が、この研究の課題となる。

手法

学習には、原音声と、対象方式で透かしを埋め込んだ同じ音声の対を使う。生成器は波形を読む経路と、音声を短い区間ごとの周波数成分に変換して読む経路を持つ。両方の特徴を結合し、復号器が除去後の音声を出す。たとえば同じ発話の原音声と埋め込み版で学び、使用時には埋め込み版だけを入力する。

学習では出力を原音声に近づけ、透かしの成分が強い周波数帯も重視する。さらに識別器が出力と原音声を見分け、その結果を生成器の改善に使う。これをGAN型学習と呼ぶ。原音声は学習時の参照に使い、学習後の除去処理には入力しない。

新規性

著者らは、透かしの埋め込み手段で作った音声対から除去モデルを学習し、除去時には検出器を使わない方式を提案する。波形と周波数成分を併用し、透かしの成分が強い帯域に学習の重点を置く。

同じ構成で複数の透かし方式を扱い、学習に使っていない音声群や方式への転用も報告する。ただし、転用の成績は示された評価条件に限られる。

従来手法との違い

著者らによると、帯域フィルターや非可逆圧縮では、透かしが残るか、聞こえる劣化が生じる場合がある。比較対象の最適化手法は、検出器の判定値を繰り返し参照して音声を調整するため、問い合わせ回数と処理時間が増える。

HarmonicAttackは事前に音声対で学習し、除去時には学習済みモデルで音声を処理する。検出器への問い合わせを要しない一方、事前に対象方式の透かしを埋め込めることが条件となる。

実験結果

著者らはLibriSpeechの音声にAudioSealの透かしを埋め込んで学習し、別の音声群や透かし方式で評価した。ASRは攻撃成功率を表す。VCTKの音声に対するAudioMarkNetの評価では、HarmonicAttackのASRが92%、比較対象中の最高値が38%と報告する。

FMAの音楽では、評価した全透かし方式でASRが100%だったという。比較対象中の最高値として、AudioSealでは2%、WavMarkでは44%を示す。著者らはFMAで音質指標PEAQが0.9を超えたとも報告する。確認できた本文の範囲では評価件数や分割条件を確かめられず、結果は示された条件に限って読む必要がある。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:音声生成サービスが、自社の電子透かしを公開前に点検する。利用を認められた原音声と、自社の埋め込み手段で作る透かし付き音声を対応付け、学習に使う。必要な教師情報はこの対応関係で、入力は音声ファイルのため追加のセンサーは要らない。

別に確保した音声をモデルに入力し、処理後の音声、検出器の判定、音質の評価結果を担当者へ渡す。話者や音声の種類を変えた場合の耐性を調べるための案であり、実運用での除去成功を保証するものではない。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:利用を認められた原音声と、自社の埋め込み手段で作る透かし付き音声を対応付け、学習用と評価用に分ける。学習に必要な教師情報は音声対の対応関係で、追加のセンサーは不要だ。対象の音声条件に合わせて学習し、別の話者や音楽への適用は分けて確かめる。

無処理の透かし付き音声を基準に置き、フィルター処理も同じ評価音声で測る。検出器の判定条件を固定し、透かし検出率、原音声との差、聞き取りによる劣化、処理時間を記録する。検出器の判定結果は評価に用い、学習用の音声対とは分けて管理する。

限界と課題

著者らが示す適用上の前提は、事前の学習に時間を要し、対象方式で原音声に透かしを埋め込んだ対応対を作れることだ。検出器の内部情報や判定結果は除去モデルの学習に必要ないが、埋め込み手段を利用できない方式には、そのままでは適用できない。

編集上の検証事項として、評価音声の件数と分割、攻撃成功の判定条件、音質と処理時間の測定条件を確認したい。確認できた本文の範囲では、これらの詳細をそろえて各方式の運用上の耐性まで判断することはできない。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

HarmonicAttack: An Adaptive Cross-Domain Audio Watermark Removal

The availability of high-quality, AI-generated audio raises security challenges such as misinformation campaigns and voice-cloning fraud. A key defense against the misuse of AI-generated audio is by watermarking it, so that it can be easily distinguished from genuine audio. Those seeking to misuse AI-generated audio may attempt to remove audio watermarks, so studying effective watermark removal techniques is critical to objectively evaluate the robustness of audio watermarks. Previous watermark removal schemes typically assume access to the target watermark detector during the removal process. This assumption is often impractical, which may lead to a false sense of confidence in current watermark schemes. We introduce HarmonicAttack, a novel audio watermark removal method that requires no access to the target watermark algorithm. It only needs a number of original and watermarked samples to train a general model capable of removing watermarks from audio samples. We also find that training samples do not need to share the same distribution as target samples, as our attack generalizes to out-of-distribution samples with minimal degradation. Compared with existing watermark removal attacks, HarmonicAttack is more effective at removing watermarks from state-of-the-art schemes, including AudioSeal, WavMark, SilentCipher, and AudioMarkNet, while maintaining high perceptual quality. Although HarmonicAttack is trained on the LibriSpeech dataset against AudioSeal, it generalizes across unseen datasets and watermarking schemes. For instance, on VCTK, HarmonicAttack achieves a 92% ASR against AudioMarkNet, substantially outperforming the best baseline at 38%. On FMA, HarmonicAttack reaches 100% ASR against all watermarks, whereas the best baseline achieves only 2% against AudioSeal and 44% against WavMark.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01