表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

AI生成音楽を編集音源と見分ける――同じ原曲に基づく判別実験

Edited-Audio Hard Negatives for AI-Generated Music Detection

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理

概要

  • 同じ原曲に由来するAI生成版と編集版を集め、原曲は参照用として二択の検出器を学習した。
  • 音声を10秒に分けてPaSSTに入力し、学習用と評価用は原曲単位で分割した。
  • 著者らの報告では、保留テスト集合の動画単位のbalanced accuracyは0.811、クリップ単位のF1値はAI生成音源0.836、編集音源0.720だった。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、Edited-Audio Hard Negatives for AI-Generated Music Detectionの仕組み

左から右へ読む
  1. 01同じ原曲のAI版・編集版
  2. 0210秒の音声区間
  3. 03PaSSTで二択判定
  4. 04AI版か編集版か

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

AI生成音楽の検出器は、生成音源と編集前の原曲を比べて評価されることが多い。一方、実際の投稿には、リミックス、再符号化、音程変更などを受けた楽曲もある。

編集音源はAI生成ではないが、加工によって生成音に似た音響上の特徴が生じる場合がある。原曲を相手にした評価だけでは、こうした投稿をAI生成版と見分ける難しさを十分に捉えられない。

手法

著者らはYouTube由来のAI生成版、編集版、原曲を集め、原曲は参照用に使う。AI生成版と編集版から10秒の音声区間を作り、波形を事前学習済みのPaSSTに入力して二択で判定する。PaSSTは、音を時間と周波数の特徴として扱うモデルである。例えば音程を変えた編集版は、AI生成版と区別すべき側に入る。

学習用と評価用は、元になった原曲ごとに分ける。同じ曲の別版が両方に入ることを防ぐためだ。著者らは動画単位の判定も報告する。また、Grad-CAMという可視化手法を使い、確信度の高い判定が音のどの時間・周波数領域に関係するかを調べる。

新規性

著者らの着眼点は、AI生成音楽の比較相手を編集前の原曲ではなく、編集された非AI音源に置くことだ。こうした見分けにくい非該当例を「難しい負例」と呼ぶ。編集で生じる音の特徴が、生成音の手掛かりに似る可能性を調べる。

AI生成版と編集版を同じ原曲に基づいて集め、原曲単位で学習用と評価用を分ける。同じ曲の別版が両方に入ることを防ぎ、編集音源との判別を確かめる設計である。

従来手法との違い

著者らによると、AI生成音楽の検出器は、生成音源と編集前の原曲を比べて評価されることが多い。この研究では、リミックス、再符号化、音程変更などを受けた非AI音源を比較相手にする。

確認できた本文の範囲では、原曲を比較相手にした検出器との数値比較はない。報告された成績を従来の評価設定からの改善幅とは読めず、同じ原曲に由来するAI生成版と編集版を分ける課題の結果として扱う必要がある。

実験結果

著者らは、原曲ごとに分割した保留テスト集合でAI生成版と編集版の判別を評価した。最終的な動画単位のシステムは、balanced accuracyが0.811だった。これは、二つのクラスそれぞれの正解率を平均する指標である。

10秒クリップ単位では、著者らはAI生成音源のF1値を0.836、編集音源を0.720と報告する。F1値は、判定の的中しやすさと見逃しにくさを合わせて見る指標である。確認できた本文の範囲では、データ数、分割比率、動画単位への集約方法、誤判定件数は示されていない。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:音楽投稿の確認担当者が、AI生成の申告を調べる順番を決める場面で試す。投稿音声を入力し、AI生成版か編集版かの判定を担当者に示して、申告内容と照合する。判定だけで投稿の扱いを確定しない運用を想定する。

検証には、対象サービスの投稿に対応するAI生成版と編集版の音声、元になった曲の対応関係、両者の正解ラベルが要る。投稿形式や編集の種類に合わせた追加学習と判定基準の調整を検討する。入力は音声ファイルで、追加のセンサーは想定しない。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:対象の投稿形式から、原曲との対応が分かるAI生成版と編集版の音声を集め、それぞれに正解ラベルを付ける。入力は音声ファイルとし、追加のセンサーは想定しない。原曲単位で学習用と評価用を分け、10秒区間への切り出しと、対象の音源に合わせた追加学習を試す。

比較基準には、同じ音源に対する現行の人手による一次確認を置く。AI生成版と編集版それぞれのクリップ単位のF1値、動画単位のbalanced accuracy、担当者の確認が必要になった誤判定件数を測る。判定基準の調整は、評価用の結果を踏まえて検討する。

限界と課題

著者らが報告した課題は、10秒クリップで編集音源のF1値がAI生成音源より低いことだ。著者らは、生成音を示す特徴と編集による音の特徴が重なり得ると解釈している。Grad-CAMによる表示は、判定に関係した領域を調べるためのもので、理由を確定するものではない。

編集上の検証事項は、未知の投稿元や編集方法での成績と、編集音源をAI生成と誤判定した際の運用への影響である。確認できた本文の範囲では、データ数、編集種別ごとの成績、動画単位の判定への集約方法は分からない。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

Distinguishing AI-Generated Music from Edited Audio as a Hard-Negative Robustness Task

AI-generated music detectors are commonly evaluated against original songs, but real-world uploads are often remixed, re-encoded, pitch-shifted, or otherwise edited. These edited versions form a difficult negative class: they are not generated by AI, yet they may introduce spectral artifacts that resemble synthetic audio fingerprints. We study this problem as a hard-negative robustness setting for AI-generated music detection, focusing on AI-generated and edited variants derived from the same anchor songs. We compile a YouTube-based dataset of AI, edited, and original variants, using the original tracks only as references, and train a binary AI versus edited detector. Audio is processed as 10-second clips and passed as raw waveforms to a pretrained PaSST spectrogram transformer. To reduce leakage, all splits are performed by anchor song. On the held-out test set, the final video-level system achieves 0.811 balanced accuracy. At clip level, AI-generated clips reach an F1-score of 0.836, while edited clips reach a lower F1-score of 0.720. The results suggest that AI-generated music retains detectable fingerprint-like spectral cues beyond ordinary editing, but the lower edited-class F1-score shows that these cues can still overlap with artifacts from edited audio. Grad-CAM visualizations are used to inspect whether high-confidence predictions rely on localized time-frequency regions.

論文要旨に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01