表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

未知の生成モデルによる楽曲も調べる、合成音楽検出の新しい評価

Melody or Machine / CLAM

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

Melody or Machine / CLAMの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Figure 1: Overview of the CLAM (Contrastive Learning for Audio Matching) architecture. This two-encoder model processes instrumental and vocal embeddings (from sources like MERT and Wav2Vec2), incorporates a Weighted Cross-Aggregation (WCA) module, and a dual-loss objective.

出典:Melody or Machine / CLAM / arXiv ↗

概要

  • MoMは13万435曲を収め、学習時に使わない生成元の曲も試験に含める。
  • CLAMは同じ混合音声から二種類の特徴を取り、曲内の対応関係を学んで判定する。
  • 著者らが報告したMoM上のF1値は、CLAMが0.925、SpecTTTraが0.869だった。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、Melody or Machine / CLAMの仕組み

左から右へ読む
  1. 01楽曲の混合音声
  2. 02二種類の特徴を抽出
  3. 03特徴を統合
  4. 04実音源か合成か判定

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

合成音楽の検出器は、学習時に見た生成モデルに固有の音の癖を覚えると、別の生成モデルの曲を見落とし得る。実際の投稿には、全体を生成した曲だけでなく、声だけを合成した曲や人が演奏したカバー曲も混じる。

そのため、学習済みの生成元とは違う音源で試す評価が重要になる。この研究は評価用のMoMと、音声の異なる特徴を組み合わせて判定するCLAMを提示した。

手法

CLAMには歌声と伴奏を別々に切り出す前処理はない。同じ曲の混合音声をMERTとWav2Vec2という二つの学習済み符号器へ入れ、音楽の構造に寄った特徴と、声の音色などに寄った特徴を並行して得る。その特徴を統合し、実音源か合成音源かを分類する。

学習では分類の正誤に加え、人の同じ曲から得た二つの特徴を近づけ、別の人の曲から得た特徴を離す。これは「対照学習」と呼ばれ、対応する組としない組を見分ける練習に当たる。MoMは学習に使わない生成元の曲も試験に回し、この判定を評価する。

新規性

著者らは、13万435曲から成るMoMを作り、学習時とは異なる生成元の曲を試験に含めた。人が演奏したカバー曲や、一部だけ合成した音源も含め、単一の生成元に特有な手掛かりだけで判定しにくい設定を狙う。

併せて提案したCLAMは、同じ混合音声を二つの既存の音声符号器で表し、人の曲では同じ曲の二つの表現が対応するよう学習する。対応関係を学ぶ工程と、実音源か合成音源かの分類を組み合わせる。

従来手法との違い

既存のSpecTTTraは、著者らが示した未学習の生成元別試験でF1値が下がった。F1値は、合成と判定した曲の正しさと、合成曲を拾う割合を合わせた指標である。MoM上ではSpecTTTraが0.869、別の比較方式Poin-HierNetが0.896だった。

CLAMはMoM上で0.925と報告される。二つの符号器を使っても、曲同士の対応を学ぶ損失を外した場合は0.875であり、著者らの比較ではその学習工程が結果に関わっている。

実験結果

著者らのMoMは実音源6万5475曲、合成音源6万4960曲、計13万435曲・6665時間で構成される。実験では音声を90秒に切り、24kHzへそろえた。MoM上のF1値はCLAMが0.925、SpecTTTraが0.869、Poin-HierNetが0.896だった。

同じ二系統の構成から対照学習を外すとF1値は0.875、MERTだけでは0.853だった。別のSONICS評価ではCLAMが0.993と報告する。これらは著者らが設定したデータ分割と処理条件での値である。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:音楽配信の投稿受付で、申告内容の確認対象を選ぶ補助に使う。入力は投稿された曲の音声と投稿者の制作方法の申告。出力はCLAMの合成音源らしさの判定と、人が詳しく確認する順番である。

担当者は高く判定された曲を聴取し、制作記録や申告と照合する。判定だけで配信可否や権利関係を決めず、未知の生成方法での見落としと、人の録音に対する誤判定の両方を記録する。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:投稿音源のうち制作方法を確認できる曲を集め、生成元とカバー・声の加工の有無で分ける。比較対象は、同じ音源を使った既存の単一方式の検出器とする。学習に使わない生成元を別の試験群に置く。

F1値だけでなく、実音源を合成と誤る割合、合成音源の見落とし、曲種別の差を測る。人が確認できる件数に合わせて判定基準を決め、その基準での確認対象数も記録する。

限界と課題

著者らは、既存の検出器が未学習の生成元に対して性能を落とす例を示し、MoMにその条件を設けた。CLAMの高いF1値も、評価に含まれない将来の生成方法や別の音声加工を網羅した結果ではない。

導入時の確認事項は、投稿音源の言語・ジャンル・長さごとの誤判定、カバー曲や声だけを変えた曲の扱い、判定基準を変えた際の確認作業量である。検出結果から制作過程や権利状態を直接証明することはできない。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

Melody or Machine: Detecting Synthetic Music with Dual-Stream Contrastive Learning

The rapid evolution of end-to-end AI music generation poses an escalating threat to artistic authenticity and copyright, demanding detection methods that can keep pace. While foundational, existing models like SpecTTTra falter when faced with the diverse and rapidly advancing ecosystem of new generators, exhibiting significant performance drops on out-of-distribution (OOD) content. This generalization failure highlights a critical gap: the need for more challenging benchmarks and more robust detection architectures. To address this, we first introduce Melody or Machine (MoM), a new large-scale benchmark of over 130,000 songs (6,665 hours). MoM is the most diverse dataset to date, built with a mix of open and closed-source models and a curated OOD test set designed specifically to foster the development of truly generalizable detectors. Alongside this benchmark, we introduce CLAM, a novel dual-stream detection architecture. We hypothesize that subtle, machine-induced inconsistencies between vocal and instrumental elements, often imperceptible in a mixed signal, offer a powerful tell-tale sign of synthesis. CLAM is designed to test this hypothesis by employing two distinct pre-trained audio encoders (MERT and Wave2Vec2) to create parallel representations of the audio. These representations are fused by a learnable cross-aggregation module that models their inter-dependencies. The model is trained with a dual-loss objective: a standard binary cross-entropy loss for classification, complemented by a contrastive triplet loss which trains the model to distinguish between coherent and artificially mismatched stream pairings, enhancing its sensitivity to synthetic artifacts without presuming a simple feature alignment. CLAM establishes a new state-of-the-art in synthetic music forensics. It achieves an F1 score of 0.925 on our challenging MoM benchmark.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-09-29