新着研究 / Audio
波形になる前の音声表現へ透かしを注入、GAMWが合成音声の加工後の識別を改善
GAMW
GAMWの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2: Overview of GAMW. The trainable watermark encoder embeds a multi-bit payload into the clean mel-spectrogram generated by the frozen TTS model, and the frozen vocoder synthesizes the watermarked speech. During training, perturbations are applied before payload recovery by the trainable extractor, while the objective jointly optimizes decoding accuracy and mel-domain fidelity.
概要
- TTSのメル周波数表現に情報を埋め込み、その後の波形生成で透かしを音声へ載せる。
- 難しい例と復元しづらいビットへ学習の重みを配分する復号目的を組み合わせる。
- 二つの音声合成基盤で十六ビットの透かしを検証し、単独・複合加工への耐性を評価した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、GAMWの仕組み
- 01合成中の音声表現とビット列
- 02内容別に透かしを注入
- 03波形を生成
- 04加工音から復号
- 05識別ビット列
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
合成音声の出所を後から追うには、聞こえにくい識別情報を音へ埋め込む透かしが使える。ただし生成した波形を後加工する方式では、圧縮などの処理を何度も受けた後に情報が失われやすい。
GAMWは音声合成の途中へ埋込みを移し、波形を作る前の表現に透かしを載せる。自然な音声を保つことと識別情報を復元することを同時に学び、加工後の復号を改善することを狙う。
手法
メルスペクトログラムは人の聴覚に合わせた周波数軸で音の強さを表す中間表現である。GAMWはその内容と埋め込むビット列から小さな変更量を作り、波形合成に入る前に加える。音声合成の基盤モデルを固定したまま、埋込み器と復号器を学ぶ。
復号の損失には難しい例へ注目する焦点化と、復元しにくいビット位置へ重みを増やす仕組みを使う。例えば十六ビットの識別情報を入れた音を圧縮した後でも、特定の位置だけが繰り返し壊れないようにする。生成工程と復号の学習をつなぐため、出力後の波形へ一律に追加する方式と位置が異なる。
新規性
合成工程で既に存在するメル表現を埋込み場所に使い、音の内容に応じた残差で透かしを加える。基盤モデルそのものを追加学習する必要を避けつつ、最終波形に透かしが残るよう学習する。
加えて、全ビットの平均精度だけでは弱い位置が残る問題に対応する。例の難しさとビットごとの難しさを別々に重み付けし、復号の均衡を取ることが構成の一部になっている。
従来手法との違い
比較は既存の音声透かしと、同じ条件で埋込み場所を波形へ変更した版を含む。波形版もきれいな音ではほぼ完全に復号できるが、所定の加工後ではメル版の方が良い音質と復号精度を示した。
損失の比較では、標準の二値交差エントロピー、焦点化のみ、ビット重みのみ、両方を使う版を同じ条件で学習する。構造の違いと学習目標の違いをそれぞれ検査している。
実験結果
著者は二つのTTS基盤で音質、情報量、単独の加工、複数加工の組合せを評価した。十六ビットでは強い比較法に対し復号精度を単独加工で9.2ポイント、複合加工で23.5ポイント改善したと要旨で報告する。
CosyVoice2の埋込み場所比較では、十五種類の単独加工を平均した精度がメル版0.9795、波形版0.9048だった。圧縮を重ねる三段処理では二基盤の精度が0.8332、0.8218で、耐性があっても全ビットを常に復元できるわけではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の自動音声案内を生成する際、発行記録に対応する識別ビットを中間表現へ入れる。配布後の音声からビットを復元し、元の生成記録と照合する出所確認の工程を作る。
音声ファイルのメタデータが削除されても照合できる補助情報を残す狙いである。復号器の判定だけで真偽を確定せず、生成ログや配布履歴と組み合わせ、識別誤りがある場合は確認へ回す。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：使うTTSの中間表現へ接続できるかを確かめ、透かしなし、波形への埋込み、メルへの埋込みを同じ発話で比較する。通常の保存圧縮だけでなく、再圧縮や音量変更など実際の流通処理を試す。
音質、ビット精度、全識別列の完全復元率、透かしなし音の誤検出を測る。最低のビット精度も見て、平均値が良くても弱い位置が残らないか確認する。埋込みと復号の遅延を運用へ含める。
限界と課題
本文での強さは検証した加工と二つの合成基盤に対する結果である。任意の再録音や悪意ある除去処理、別の生成器で同じ精度が出ることは保証しない。透かしの有無は内容の正確さも保証しない。
編集上の確認点は、短い発話、複数音声の混合、実際のスピーカー再生と録音での復元である。十六ビットの情報を運用上の記録へどう対応させるか、誤検出をどう扱うかも別に設計する必要がある。
出典
元のタイトル・要旨を確認する（英語）
GAMW: Generation-Aware Mel-Domain Watermarking for TTS Traceability
As text-to-speech (TTS) systems continue to advance, provenance tracking and security verification of synthesized speech have become increasingly important. Audio watermarking provides active provenance by embedding imperceptible, machine-recoverable information into speech. However, existing post-hoc methods typically modify the waveform after synthesis, leaving the watermark vulnerable to compound perturbations. To address this limitation, we propose GAMW, a watermark injection framework integrated into the TTS generation process. Before waveform synthesis, GAMW embeds a content-adaptive multi-bit watermark residual into the generated representation, and its decoding objective combines focal modulation with dynamic per-bit weighting. We train and evaluate GAMW separately on two TTS backbones. With a 16-bit payload, GAMW improves decoding accuracy over the strongest baseline by 9.2 and 23.5 percentage points under individual and compound perturbations, respectively, while maintaining competitive speech quality. Reliable clean-speech decoding is also retained at higher payloads. Code is available at https://github.com/ZConJugaTe/GAMW.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集：2026-10-14