表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

音楽の生成中に識別情報を埋め込むMusicMark

MusicMark

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

MusicMarkの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Fig. 1: Overview of MusicMark. a) Inference process, where lyrics and style tags are used as text conditions, and the watermark adapter injects the watermark message via decoupled cross-attention to generate the watermarked music latent. The decoder/vocoder renders this latent into watermarked music. The detector then detects watermark presence and extracts the embedded message from the watermarked music, even after diverse attacks. b) Training process, where the base generation model is frozen and only the watermark adapter and detector are trained with generation, fidelity, and watermark losses for robust watermark detection and quality preservation.

出典:MusicMark / arXiv ↗

概要

  • MusicMarkは、歌詞と曲調の指定から音楽を生成する途中で、識別メッセージを潜在表現へ組み込む。
  • 著者らの表では、20種類の攻撃時平均のBitはMusicMarkが0.987、AudioSeal-Mが0.743だった。
  • 導入判断には、対象の楽曲と変換条件で、読み取り失敗、誤検出、音質への影響を同条件で測る必要がある。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、MusicMarkの仕組み

左から右へ読む
  1. 01歌詞・曲調とビット列
  2. 02雑音から潜在表現を生成
  3. 03ステレオ音声へ変換
  4. 04識別情報を検出

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

MusicMarkは、生成した音楽に出所を照合するための識別情報を埋め込む。音楽は歌声や複数の楽器が重なり、旋律や和音も聴感に影響するため、音声に情報を加える際は音質と読み取りやすさの両方が課題になる。

従来の多くの方式は完成後の音声に微小な信号を加える。音声を圧縮表現に変えて作り直す「ニューラルコーデック再合成」では、その信号が失われるおそれがあると著者らは述べる。

手法

MusicMarkは、歌詞・曲調の指定と、0と1で表す識別メッセージを入力する。生成モデルは雑音から音楽の潜在表現を段階的に作り、追加部品がその各段階でメッセージを反映する。潜在表現とは、音声に変換する前の内部データで、完成した表現は変換器によってステレオ音声になる。

「注意機構」は、生成中のデータが入力のどこを参照するかを決める仕組みで、歌詞などと識別情報に別々の経路を設ける。学習時は元の生成モデルを固定し、追加部品と検出器を更新する。識別情報のない生成結果との違いを抑えつつ、加工後の音声から有無と各ビットを読めるようにする。

新規性

著者らが提案するのは、音楽を作り終えてから信号を加えるのではなく、音楽の内容を表す潜在表現が形作られる途中で識別メッセージを組み込む方法だ。著者らは、歌詞と文章による指定に従う音楽生成で、この方式を新規性として位置づけている。

歌詞などを参照する経路とは別に、識別情報を参照する注意機構を追加する。識別情報のない生成結果に近づける学習と、変換後の音声から情報を読む学習を組み合わせている。

従来手法との違い

比較対象は、生成済みの音声に識別情報を加えるWavMark、AudioSeal、SilentCipher、AudioSeal-Mだ。MusicMarkはACE-Stepを基に、生成過程の潜在表現へ埋め込む。AudioSeal-Mは、MusicMarkと同じ学習データと攻撃による加工を使い、44.1 kHzのステレオ音楽向けに訓練されている。

16 kHzのモノラル音声を扱うWavMarkとAudioSealの評価では、元の44.1 kHzのステレオ音楽を変換して入力した。生成品質の比較は形式の差を避けるため、44.1 kHzのステレオ出力に絞っている。

実験結果

著者らは、Museの英語の楽曲と文章の組5万件、約625時間で学習した。評価には公開されたSunoのメタデータから作った歌詞と指示文の組2,000件を使い、生成品質にはそのうち300件を用いた。頑健性の評価は20種類の攻撃を対象とする。

掲載表の攻撃時平均では、MusicMarkのAcc、Bit、Absは順に0.994、0.987、0.869で、AudioSeal-Mは0.946、0.743、0.400だった。これは表に示された条件での結果であり、個々の攻撃で常に上回るという意味ではない。確認できた本文の範囲では、各指標の詳しい定義と品質評価の数値は確認できない。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:歌詞と曲調の指定から試聴用楽曲を作るサービスで、発行した識別番号をビット列にして生成時に埋め込む。公開後のデジタル音声を検出器に入力し、識別情報の有無と読めた番号を発行記録に照合する。

適用には、対象の生成モデル、使用を認められた楽曲と対応する歌詞・曲調指定、番号の正解ビット列、識別情報の有無を示すラベルが必要だ。音声ファイルを扱う想定で物理センサーは使わず、対象モデルに追加部品と検出器を適合させる。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:対象の生成モデルに合わせ、使用を認められた楽曲と歌詞・曲調指定の組を用意する。埋め込むビット列と識別情報の有無を正解ラベルとし、追加部品と検出器を適合させる。入力と判定対象はデジタル音声なので、物理センサーは想定しない。

同じ歌詞・曲調指定で、埋め込みなし、生成後に埋め込む方式、MusicMarkの出力を比較する。学習に使わない曲で、変換前後の検出、ビット読み取り、誤検出を測る。再圧縮、再合成、歌声変換を試し、聴取による品質確認も行う。

限界と課題

著者らは、生成後に加える微小な信号がニューラルコーデックによる再合成で失われやすく、埋め込み工程を省くこともできると指摘する。MusicMarkでは、識別情報を残しながら音質を保つため、識別情報のない生成結果との距離を抑える学習を行う。

編集上の検証事項として、実際の曲調、長さ、言語、編集履歴で誤検出と読み取り失敗を測りたい。確認できた本文の範囲では、運用時の判定しきい値や未検証の変換に対する成績は確定できない。番号の読み取りだけで権利関係まで証明できるかも別の問題だ。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

MusicMark: A Robust Generative Watermarking Framework for Music Generation

AI music generation has rapidly advanced alongside commercial platforms, raising the need for reliable watermarking for provenance and attribution. However, existing audio watermarking research has largely focused on speech, and applying speech-oriented methods to music is challenging due to music's complex structure and rich acoustic texture. Most existing methods are post-hoc, adding imperceptible perturbations after generation rather than embedding watermarks as part of the content. This makes them fragile under transformations and especially vulnerable to neural codec re-synthesis, which can discard imperceptible residual signals. Moreover, since generation and watermarking are decoupled, the watermarking step can be bypassed or omitted, weakening provenance guarantees. To address these issues, we propose MusicMark, which, to the best of our knowledge, is the first generative watermarking framework for music. Specifically, MusicMark embeds watermark messages into the semantic latent space during generation, incorporating the watermark as part of the musical content and ensuring robustness against diverse attacks, particularly neural codec re-synthesis. To this end, we introduce a watermark adapter into a diffusion-based generation model to embed watermark messages across denoising steps. The adapter and detector are trained with a joint objective that preserves fidelity by constraining watermarked latents close to their unwatermarked reference latents, while improving robustness through attack augmentations. Experiments demonstrate that MusicMark substantially outperforms post-hoc baselines across diverse attacks including neural codec re-synthesis, while maintaining comparable generation quality. We further introduce a cover-song attack, converting the singing voice while preserving musical content, and show that MusicMark remains more robust than post-hoc methods.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01