アーカイブ / Audio
歌声合成の音程切り替わりを補うRDSinger、参照音を使って雑音除去を導く
RDSinger
RDSingerの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: The figure illustrates the pitch transition region. Panel (a) shows the pitch transition generated by FastSpeech2, with the orange line representing the high-to-low frequency ratio and white dots marking transition points. The red area highlights the transition zone. Panel (b) shows the alignment of FastSpeech2’s pitch transition region with the ground-truth mel-spectrogram, indicating that the transition regions correspond to areas that need enhancement. Panel (c) displays the result of applying Gaussian blur to the pitch transition region shown in (a).
概要
- FastSpeech2が作るメルスペクトログラムを参照し、拡散モデルの各段階で歌声の音響特徴を生成する。
- 音程の切り替わり付近の参照情報をぼかし、学習時には同領域の誤差を重く扱う。
- OpenCpopを使った著者評価で、MOSはRDSingerが3.46±0.07、DiffSingerが3.30±0.07だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、RDSingerの仕組み
- 01歌詞と楽譜
- 02参照用の音響特徴
- 03遷移部をぼかす
- 04段階的に雑音除去
- 05歌声音声
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
RDSingerは、歌詞と楽譜から歌声を作る手法である。歌声合成では、発音だけでなく、音符の高さと長さに合わせて声をつなぐ必要がある。著者らは、音程や発音が切り替わる付近で生じる音の乱れに着目した。
拡散モデルは、雑音を段階的に取り除いて音響特徴を作る方式である。著者らによると、楽譜から作った条件情報だけでは、歌の全区間で雑音除去を十分に導けない場合がある。
手法
まずFastSpeech2が歌詞と楽譜からメルスペクトログラムを作る。これは時間ごとの音の強さを周波数帯別に表す、音声波形になる前の中間データである。RDSingerはこれを参照用ネットワークに通し、各層の情報を雑音除去用ネットワークの対応する層へ加える。生成したメルスペクトログラムは、音声変換器で波形にする。
例えば高い音から低い音に移る付近では、参照データの高周波と低周波の強さの比から切り替わり点を探す。その周辺にガウスぼかしをかける。ガウスぼかしは近くの値をなだらかに混ぜる処理で、鋭い境界を弱める。学習時には同領域の誤差を重く扱い、楽譜の条件と調整した参照情報を使って段階的に雑音を除く。
新規性
RDSingerは、FastSpeech2が生成したメルスペクトログラムを、拡散モデルの各段階で参照する。参照用ネットワークの各層から、対応する雑音除去用ネットワークの層へ情報を加える構成を採った。
音程の切り替わり付近では参照情報の一部をぼかし、学習時には同領域の誤差に大きな重みを付ける。参照に含まれる不自然な境界の影響を抑えつつ、その領域の生成を重点的に学習させる狙いである。
従来手法との違い
比較対象のDiffSingerは、中間のメルスペクトログラムに雑音を加え、少ない段階の拡散処理に利用する。RDSingerはFastSpeech2の出力を参照用ネットワークにも通し、その各層の情報を雑音除去に使う。
著者の同一評価表では、人手による音質評点のMOSはRDSingerが3.46±0.07、DiffSingerが3.30±0.07、VISingerが3.43±0.08だった。一方、音声自体の品質を推定するSIG MOSはRDSingerが3.43±0.06、VISingerが3.47±0.06で、指標によって順位は異なる。
実験結果
著者らは、中国語の歌唱データOpenCpopを使った。100曲、約5.2時間の録音を3756区間に分け、無作為に選んだ3曲の126区間を検証・テスト用とした。人手評価には23人が参加し、音質を5段階のMOSと順位で評価した。
生成した音響特徴は各手法で同じHiFiGANを使って音声化し、RDSingerとDiffSingerの雑音除去はともに100段階とした。著者の表ではMOSは順に3.46±0.07、3.30±0.07、平均順位は4.45±0.12、5.09±0.11だった。参照のぼかしを外した構成のMOSは3.21±0.09だが、切除実験表の残りは確認できた本文の範囲では途切れている。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：楽曲制作の仮歌を作る場面で、歌詞と音符の高さ・長さを入力し、確認用の歌声音声を出力する。担当者が音程や発音の切り替わりを聴き、修正を要する時刻を記録して制作工程へ渡す。
対象の歌い方へ適応するには、歌唱録音と、それに対応する音素、音符の高さ、長さのラベルを用意する。追加のセンサー入力は想定しない。対象音源で必要な学習や条件調整、その作業量を確かめるための応用案であり、品質向上を保証するものではない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象の歌唱録音と、対応する歌詞の音素、音符の高さ、長さのラベルをそろえる。追加のセンサーは使わない。対象歌手への適応に必要な録音量、ラベル作成時間、学習や条件調整の作業を記録する。
同じ歌詞と楽譜からRDSingerと比較対象のDiffSingerで仮歌を作り、音声化の条件をそろえる。切り替わりを含む区間を伏せて聴いてもらい、MOS、順位、音割れが聞こえた箇所を記録する。生成時間と、ぼかしを外した構成との差も測り、用途に必要な品質と作業時間を判断する。
限界と課題
著者が挙げる課題は、既存手法で音程や発音の切り替わりに雑音・音割れが生じることと、拡散処理の計算負荷である。これらがRDSingerでどこまで解消したかについて、確認できた本文の範囲では生成時間や切り替わり箇所だけの定量値は示されていない。
編集上の検証事項は、別の歌手や言語への適応、生成時間、切り替わり箇所の聴感である。評価には中国語歌唱データが使われた。切除実験の表は途中で途切れているため、参照用ネットワークや損失の重み付けを個別に外した結果までは確認できない。
出典
元のタイトル・要旨を確認する（英語）
RDSinger: Reference-based Diffusion Network for Singing Voice Synthesis
Singing voice synthesis (SVS) aims to produce high-fidelity singing audio from music scores, requiring a detailed understanding of notes, pitch, and duration, unlike text-to-speech tasks. Although diffusion models have shown exceptional performance in various generative tasks like image and video creation, their application in SVS is hindered by time complexity and the challenge of capturing acoustic features, particularly during pitch transitions. Some networks learn from the prior distribution and use the compressed latent state as a better start in the diffusion model, but the denoising step doesn't consistently improve quality over the entire duration. We introduce RDSinger, a reference-based denoising diffusion network that generates high-quality audio for SVS tasks. Our approach is inspired by Animate Anyone, a diffusion image network that maintains intricate appearance features from reference images. RDSinger utilizes FastSpeech2 mel-spectrogram as a reference to mitigate denoising step artifacts. Additionally, existing models could be influenced by misleading information on the compressed latent state during pitch transitions. We address this issue by applying Gaussian blur on partial reference mel-spectrogram and adjusting loss weights in these regions. Extensive ablation studies demonstrate the efficiency of our method. Evaluations on OpenCpop, a Chinese singing dataset, show that RDSinger outperforms current state-of-the-art SVS methods in performance.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01