アーカイブ / Audio
完成音源から加工前の楽器音を復元する課題――8種類の音源で見えた性能差
Music Source Restoration Challenge
概要
- 加工前の楽器別音源を正解に使い、分離と復元を評価する音楽音源復元課題を設けた。
- 5チーム中の首位は、正解ありテストでMulti-Mel-SNR 4.46 dB、正解なしテストで総合聴取評価3.47を記録した。
- 楽器別の5チーム平均はベース4.59 dB、打楽器0.29 dBで、対象楽器ごとの確認が必要である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Music Source Restoration Challengeの仕組み
- 01劣化した混合音
- 02楽器別に分離
- 03残響を除去
- 04雑音を除去
- 05加工前の音源
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
完成した曲から楽器ごとの音を取り出しても、その音には制作時の残響や音質調整が残り得る。録音や保存の過程で圧縮、雑音、ひずみも加わるため、楽器を分けるだけでは加工前の素材音に戻せない。
加工前の音源を正解として用意できなければ、楽器の分離と元の音への復元を区別して評価しにくい。著者らはこの問題に向け、音楽音源復元の課題と評価手順を設け、5チームの参加結果を報告した。
手法
課題の入力は、制作時の加工や後からの劣化を含む混合音で、出力はボーカル、ギター、鍵盤、ベース、シンセサイザー、ドラム、打楽器、オーケストラ要素の加工前の音源8種類である。「ステム」とは楽器などの種類ごとに分けた音声を指す。例えば圧縮された曲を入力し、ほかの楽器を分離したうえで、加工前のベース音を推定する。
図解の処理順は首位のxlancelabの方式で、課題が全参加方式に指定した手順ではない。同チームは音の周波数帯を分けて扱うBSRoformerという事前学習済みモデルを3つ使い、分離、残響除去、雑音除去を順に行った。学習にはMoisesDBと手作業で整えたRawStemsを用い、音の差を測るL1損失と、複数の時間・周波数の細かさで差を測るSTFT損失を組み合わせた。
新規性
著者らが新規性として挙げるのは、制作上の加工がかかる前の楽器別音源を正解として使う評価課題である。従来の音源分離用データでは、正解の音源にも制作時の加工が残り、加工前の音への復元精度を測れなかった。
この課題では、正解のある混合音源を数値で評価し、正解のない実際の劣化録音を聴取で評価する。論文の対象は課題設定、データ、評価方法と5チームの結果であり、単一の復元モデルの提案ではない。
従来手法との違い
従来の音源分離は、混合音から個々の音源を取り出す課題として評価されてきた。本課題はさらに、残響や音質調整など制作時の加工と、その後の録音・保存に伴う劣化を経た混合音から、加工前の音源を推定する。
参加方式では、首位のxlancelabが分離、残響除去、雑音除去のモデルを順に適用した。2位のCUPAudioGroupは3種類のモデルを組み合わせ、5位のcp-jkuも分離と復元の2段階を用いた。著者らの結果から、処理を段階化するだけで性能が決まるとは言えない。
実験結果
著者らは検証用に48 kHzのステレオ音声を各10秒、2,000件用意し、完成音源と12種類の劣化条件を設定した。正解音源のあるテスト1,000件にはMulti-Mel-SNR、Zimtohrli、FAD-CLAPを使用。正解のない実録音500件では、専門技術者が分離、復元、総合品質を各5段階で聴取評価した。
5チーム中、xlancelabは正解ありのテストでMulti-Mel-SNR 4.46 dB、正解なしのテストで総合聴取評価MOS-Overall 3.47だった。2位のCUPAudioGroupは同じ順に2.34 dB、2.93で、著者らは相対差を91％、18％と報告する。楽器別の5チーム平均はベース4.59 dB、打楽器0.29 dBであり、結果はこの課題のデータと評価条件に限られる。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：過去の作品を再編集する担当者が、劣化した完成音源を入力し、ボーカルやベースなど8種類の楽器別音源を候補として受け取る。担当者は原曲と候補を聴き比べ、使える箇所だけを再編集に採用する。
用途に合わせてモデルを調整するなら、対象に近い混合音源と加工前の楽器別音源の対応データ、楽器名のラベルが必要になる。入力に使うのは音声で、音声以外のセンサーは想定しない。正解音源が残っていない作品では、出力を原音と断定せず復元候補として扱う。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象に近い混合音源と加工前の楽器別音源が対になった少量のデータを集め、8種類の楽器名ラベルを確認する。音声以外のセンサーは使わない。音の時間位置のずれと他楽器の混入を点検してから、対象作品の劣化に合わせてモデルを調整する。
同じ曲に、楽器分離だけを行う方式と、分離後に残響・雑音を除く方式を適用する。正解音源がある曲では楽器別のMulti-Mel-SNRを比べ、正解がない曲では担当者が分離状態、残る加工、不自然な音を記録する。打楽器は別に集計し、再編集に使える水準を用途ごとに決める。
限界と課題
著者らは、学習に使われた元のRawStemsデータに時間位置のずれと別音源の混入があると述べる。また、5チーム平均のMulti-Mel-SNRはベース4.59 dB、打楽器0.29 dBで、楽器による成績差が大きい。参加チーム間の構成や学習データも異なるため、順位だけから個々の処理の効果は切り分けられない。
編集上の検証事項は、対象作品の劣化が評価条件に近いか、加工前の正解音源を確保できるか、他楽器の混入や音の欠落を許容できるかである。正解のない録音については、忠実な復元かどうかを数値だけで確かめられず、聴取による確認が要る。
出典
元のタイトル・要旨を確認する（英語）
Summary of The Inaugural Music Source Restoration Challenge
Music Source Restoration (MSR) aims to recover original, unprocessed instrument stems from professionally mixed and degraded audio, requiring the reversal of both production effects and real-world degradations. We present the inaugural MSR Challenge, which features objective evaluation on studio-produced mixtures using Multi-Mel-SNR, Zimtohrli, and FAD-CLAP, alongside subjective evaluation on real-world degraded recordings. Five teams participated in the challenge. The winning system achieved 4.46 dB Multi-Mel-SNR and 3.47 MOS-Overall, corresponding to relative improvements of 91% and 18% over the second-place system, respectively. Per-stem analysis reveals substantial variation in restoration difficulty across instruments, with bass averaging 4.59 dB across all teams, while percussion averages only 0.29 dB. The dataset, evaluation protocols, and baselines are available at https://msrchallenge.com/.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01