アーカイブ / Audio
声と環境音を別々に判定する音声偽装検出課題「ESDD2」
ESDD2
ESDD2の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: ESDD2 Task illustration. An audio clip is first classified as mixed or original; for mixed audio, speech and environmental sound components are separately evaluated for genuineness, resulting in five target classes.
概要
- ESDD2は、元録音か混合音かを区別し、混合音では声と環境音の真偽を組み合わせて五分類する課題である。
- CompSpoofV2は25万件超、約283時間の音声からなる。
- 著者らが示す基準手法のF1-scoreは、検証0.9462、評価0.6224、テスト0.6327だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、ESDD2の仕組み
- 01録音音声
- 02混合・偽装の疑い
- 03声と環境音を分離
- 04成分別判定と統合
- 05五分類
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
実環境の録音には、主な話者の声と、周囲の物音や別の話者の声が同時に入る。声だけを変えて背景を残す加工や、その逆の加工では、本物の成分が録音全体の偽装判定を惑わせ得ると著者らは指摘する。
この問題に向けたCompSpoofV2は、25万件を超える音声、計約283時間からなる。元の録音と、別の音源から声と環境音を混ぜた録音を区別し、混合後は各成分の真偽まで判定する課題を設定している。
手法
ESDD2の基準手法は、まず混合や偽装の疑いを調べ、音を主な話者の声と環境音に分ける。環境音には、物音のほか主な話者以外の声も含む。分けた音をそれぞれ専用の偽装検出モデルに渡し、出力を統合して、元録音、両成分が本物の混合、声のみ偽装、環境音のみ偽装、両方偽装の五クラスを予測する。
例えば本物の声に偽装された環境音を混ぜた録音なら、目標クラスは「環境音のみ偽装」である。基準手法は分離と判定を共同学習する。これは両方の処理を一緒に調整することで、分離後の音にも偽装を見分ける手がかりを残そうとする方法である。
新規性
ESDD2は、録音が元のままか、別の音源から声と環境音を混ぜたものかを区別し、混合音では両成分の真偽を組み合わせて五分類する評価課題である。前回のESDDが環境音の偽装検出に焦点を当てたのに対し、声の偽装も対象に含めた。
著者らは、この課題に用いるCompSpoofV2と、音の分離を組み込んだ基準手法も提示した。論文が示すのは課題設計と基準手法の結果であり、実環境のあらゆる加工を検出できるという結果ではない。
従来手法との違い
著者らによると、録音全体の偽装を判定する方式では、声か環境音の一方が本物のまま残ると、加工を見落とす手がかりになり得る。提案課題は混合の有無と成分ごとの真偽を五つの正解クラスに反映する。
前回のESDDとの比較では、環境音に加えて声の偽装も扱う点が変わった。ただし、示された成績表は提案した基準手法の各データ分割での結果である。録音全体を直接判定する手法や前回の手法と、同一条件で性能を比べた数値は確認できない。
実験結果
著者らが示すCompSpoofV2の基準手法のF1-scoreは、検証・評価・テストセットの順に0.9462、0.6224、0.6327だった。F1は判定の適合率と再現率を合わせた指標で、課題の順位には五クラスのF1を等しく平均するマクロF1を使う。成績表の列名は「F1-score」である。
補助指標の等誤り率（EER）は、誤検出と見逃しが同率となる点の誤り率を表す。元録音のEERは同順に0.0031、0.0174、0.0173、声は0.0172、0.1993、0.1978、環境音は0.3766、0.4336、0.4279と報告された。評価・テストには学習・検証で未使用の新規生成音声が含まれる。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：問い合わせ窓口の録音を確認する際、声と周囲の音のどちらに加工の疑いがあるかを担当者に示す。入力は窓口の録音、出力は五分類の候補と成分別の判定とし、担当者が該当部分を聞き直す流れを想定する。
学習元にはCompSpoofV2のような成分別の音声が必要で、窓口への適用には実際の録音と五分類の確認済みラベルも要る。使う観測情報は録音音声で、追加センサーは想定しない。通話処理や窓口特有の雑音に合わせた調整の要否は現場データで検証する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：CompSpoofV2を学習元とし、対象窓口の録音にも元録音と四種類の混合状態を確認して五分類のラベルを付ける。観測情報は録音音声のみとし、追加センサーは使わない。窓口データは調整用と評価用に分け、評価用を学習に混ぜない。
比較対象は、分離せず録音全体から直接五分類する方法とする。同じ評価用録音で五分類のマクロF1と、元録音・声・環境音それぞれのEERを測り、雑音別の誤りと担当者の確認時間も記録する。公式課題に参加する場合は、評価・テストデータの学習利用禁止など、その規則に従う。
限界と課題
著者らは、評価・テストセットに学習・検証セットでは見ない新規生成音声が含まれると記す。基準手法の成績にも分割間の差があるが、その差の原因を特定した分析や、著者が明記した適用上の限界は、確認できた本文の範囲では見当たらない。
編集上の検証事項として、表Iのクラス2・3の声と環境音の真偽の説明が、表II・IIIの対応する音源欄と食い違って見える。再現前にラベルと実データの対応を確かめたい。窓口録音での精度や、担当者の確認時間への影響も別途測る必要がある。
出典
元のタイトル・要旨を確認する（英語）
ESDD2: Environment-Aware Speech and Sound Deepfake Detection Challenge Evaluation Plan
Audio recorded in real-world environments often contains a mixture of foreground speech and background environmental sounds. With rapid advances in text-to-speech, voice conversion, and other generation models, either component can now be modified independently. Such component-level manipulations are harder to detect, as the remaining unaltered component can mislead the systems designed for whole deepfake audio, and they often sound more natural to human listeners. To address this gap, we have proposed CompSpoofV2 dataset and a separation-enhanced joint learning framework. CompSpoofV2 is a large-scale curated dataset designed for component-level audio anti-spoofing, which contains over 250k audio samples, with a total duration of approximately 283 hours. Based on the CompSpoofV2 and the separation-enhanced joint learning framework, we launch the Environment-Aware Speech and Sound Deepfake Detection Challenge (ESDD2), focusing on component-level spoofing, where both speech and environmental sounds may be manipulated or synthesized, creating a more challenging and realistic detection scenario. The challenge will be held in conjunction with the IEEE International Conference on Multimedia and Expo 2026 (ICME 2026).
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01