アーカイブ / Audio
歌声がない区間の誤抽出を人が示し、楽曲分離モデルを更新する
Continual Learning for Singing Voice Separation with Human in the Loop Adaptation
Continual Learning for Singing Voice Separation with Human in the Loop Adaptationの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Pictorial view of problem statement
概要
- 人が歌声の誤抽出区間を時刻で指定し、分離モデルを更新する。
- 更新法は、無歌声区間を正解にする方式と、その区間に元の歌声を重ねた合成曲を使う方式の２種類。
- 合成曲方式では未使用曲の平均SDRが改善したが、CC-Mixterの中央値SDRは4.60から4.46に下がった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Continual Learning for Singing Voice Separation with Human in the Loop Adaptationの仕組み
- 01混合楽曲
- 02歌声・伴奏を推定
- 03誤抽出区間を指定
- 04元データと再学習
- 05更新後の分離音
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この手法は、混合楽曲から取り出した歌声の誤りを人が示し、分離モデルを更新する。学習曲と異なるジャンルや楽器を含む曲では、伴奏を歌声として抽出する場合があり、固定したモデルの出力を使う際の障害になる。
分離した歌声は歌詞の書き起こしや歌い手の識別に使われる。一方、対象曲ごとに歌声と伴奏を完全に分けた正解音声を用意するのは負担が大きい。誤りのある時刻だけを指定して調整できるかが、この研究の焦点である。
手法
基本モデルは混合楽曲を、時間ごとの周波数成分を表すスペクトログラムに変換して処理する。U-Netは音の特徴を段階的に圧縮・復元するモデルで、歌声の成分を選ぶマスクを推定する。たとえば歌が休んでいる箇所で楽器音が歌声側に残れば、利用者がその開始・終了時刻を指定する。
更新法の一つは、指定区間の正しい歌声マスクをゼロとして学習する。もう一つは、指定区間を繰り返して伴奏を作り、元の学習曲から分離済みの歌声を重ねた合成曲で学習する。どちらも元の学習データの例を混ぜてモデルを更新し、更新後に再び歌声と伴奏を推定する。
新規性
利用者は、抽出された歌声に音が残っているが、本来は無音である区間の開始・終了時刻を指定する。著者らは、この訂正を使う更新法を２種類提案した。
一方は指定区間の歌声をゼロとして学習し、もう一方はその区間に元の学習曲の歌声を重ねて学習する。両方式とも元の学習例を再利用し、訂正した曲以外への影響を抑える設計である。
従来手法との違い
比較基準は、MUSDB-18の学習曲で訓練したU-Netの基本モデルである。基本モデルは混合楽曲から歌声を推定するが、出力を聴いた利用者の訂正は学習に使わない。提案法は誤抽出区間の時刻を追加し、同じモデルの重みを更新する。
ゼロ歌声方式は、指定区間を無歌声の正解として扱う。合成曲方式は、その区間を伴奏に見立てて分離済みの歌声を重ねるため、更新時にも歌声の例を与えられる。著者らの設定では、元の学習データの再利用量は前者が100％、後者が20％だった。
実験結果
著者らはMUSDB-18の90曲で基本モデルを学習し、10曲を訂正、50曲を未使用の評価に用いた。別データへの適応ではCC-Mixterの30曲を訂正、20曲を評価に用いた。SDRは分離音の誤差を表す指標で、著者らは１秒ごとの値から曲の平均と中央値を報告した。
合成曲方式では、MUSDB-18の未使用曲の平均SDRが基本モデルの1.13から1.59、中央値が3.87から3.93になった。CC-Mixterの未使用曲では平均が−2.35から−1.36になった一方、中央値は4.60から4.46に下がった。これらは著者らのデータ分割と更新条件での結果である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：権利を確認した録音済み楽曲から、歌詞の聞き取りを助ける歌声音声を作る。入力は混合楽曲、出力は歌声と伴奏の分離音声とし、担当者が歌声側に楽器音だけが残った区間の開始・終了時刻を記録する。
更新には、歌声と伴奏が分かれた元の学習用音声と、その区間の時刻ラベルを使う。追加の収音センサーは想定せず、既存曲の分離結果を確認してモデルを適応させる。聞き取りへの効果は、この用途で別途確かめる必要がある。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：歌声・伴奏が分かれた元の学習用音声と、更新に使わない評価曲を確保する。入力は録音済みの混合音声とし、追加の収音センサーは使わない。担当者が基本モデルの出力を聴き、歌声がないのに音が残る区間へ開始・終了時刻のラベルを付ける。
基本モデルを比較基準に、同じ時刻ラベルでゼロ歌声方式と合成曲方式を試す。訂正曲と未使用曲の平均・中央値SDRを測り、元の評価曲でも変化を確認する。あわせて訂正時間と、聞き取りを妨げる残音の有無を記録する。
限界と課題
著者らは、指定された無歌声区間だけで直接更新すると、その区間に過度に合わせてしまうと報告する。元の学習例を再利用したゼロ歌声方式でも、CC-Mixterの未使用曲の中央値SDRは4.60から2.64に下がった。
合成曲方式について本文は中央値の低下が解消したと述べるが、表では同じ未使用曲で4.60から4.46へ下がっており、記述と数値が一致しない。編集上の検証事項は、曲ごとの音質、訂正に要する時間、更新を重ねた際の元の曲への影響である。別の楽器の分離への適用も未確認である。
出典
元のタイトル・要旨を確認する（英語）
Continual Learning for Singing Voice Separation with Human in the Loop Adaptation
Deep learning-based works for singing voice separation have performed exceptionally well in the recent past. However, most of these works do not focus on allowing users to interact with the model to improve performance. This can be crucial when deploying the model in real-world scenarios where music tracks can vary from the original training data in both genre and instruments. In this paper, we present a deep learning-based interactive continual learning framework for singing voice separation that allows users to fine-tune the vocal separation model to conform it to new target songs. We use a U-Net-based base model architecture that produces a mask for separating vocals from the spectrogram, followed by a human-in-the-loop task where the user provides feedback by marking a few false positives, i.e., regions in the extracted vocals that should have been silence. We propose two continual learning algorithms. Experiments substantiate the improvement in singing voice separation performance by the proposed algorithms over the base model in intra-dataset and inter-dataset settings.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01