アーカイブ / Audio
kNN-SVC：倍音の合成と参照候補のつながりで歌声変換を改善
kNN-SVC
kNN-SVCの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: Workflow of the kNN-SVC model: The left blue block represents Concatenation Smoothness Optimization, while the Additive Synthesis pipeline occupies the blue column on the right. The original kNN-VC backbone is composed of the remaining red blocks.
概要
- kNN-SVCは、参照歌声から得た倍音の強さを使い、目標の音高に沿う波形を合成する。
- 参照候補の選択と混合に時間的なつながりを反映し、持続音の乱れを抑えることを狙う。
- 著者らのOpenSinger内評価では音質と類似度の評点が上がった一方、LibriSpeech内では単語・文字誤り率が高くなった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、kNN-SVCの仕組み
- 01入力歌声・参照歌声
- 02特徴・音高抽出
- 03候補選択・重み調整
- 04倍音波形合成
- 05変換歌声生成
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
歌声変換は、歌詞を保ちながら入力歌手の声を参照歌手に近づけ、音の高さも調整する処理である。ゼロショットとは、目標歌手を学習済みの歌手として用意せず、参照録音を使って変換する設定を指す。
歌では、音の高さと倍音が音色に関わり、長く伸ばす音では短い揺れも目立つ。著者らは、既存のkNN-VCを歌声に使う際の鈍い響きや余分な響き、時点ごとの参照候補の切り替わりによる震えを課題とした。
手法
入力と参照の音声を、短い時間ごとの音を数値で表すWavLMの特徴列に変える。kNNは特徴が近い参照候補を探す方法である。参照候補には音高と周波数成分を対応付ける。倍音合成では、入力の音高を目標歌手の音域に合わせ、その高さに近い候補から倍音の強さを集めて波形を作る。
特徴列を作る側では、入力との近さに加え、直前の参照候補から自然につながるかで候補を選び直す。候補を混ぜる重みも、隣り合う時点のずれが小さくなるよう調整する。選んだ特徴列と倍音合成の波形を波形生成モデルに渡し、変換後の歌声を得る。
新規性
著者らは、参照歌声の音高と周波数成分から倍音の強さを取り出し、入力歌声に合わせて合成した波形を、既存の波形生成処理に加えた。倍音は、基本となる音の高さの整数倍にある成分を指す。
さらに、参照候補を選ぶ際に前の時点とのつながりを考慮し、候補を混ぜる重みも推論時に調整する。著者らは両手法を、kNN-VCを土台として実装した。
従来手法との違い
土台のkNN-VCは、入力と参照の音声をWavLMの特徴に変え、各時点で近い参照候補4個の平均から波形を生成する。kNN-SVCでは、倍音の合成を加え、候補の選択と混合にも時間的なつながりを反映する。
論文は、追加機能なし、倍音合成のみ、両機能ありの構成を比較した。歌声変換ではNeuCoSVCも比較対象とした。so-vits-svcとDDSP-SVCにはテスト歌手のデータ30％を学習に含めており、同じゼロショット条件での比較ではない。
実験結果
著者らはLibriSpeech内の音声変換、OpenSinger内の歌声変換、OpenSingerからNUS48Eへの歌声変換を評価した。客観指標は各条件で7,000件超の変換音声の平均である。主観評価は各条件60件を対象に、英語と中国語に堪能な18人が参加した。
OpenSinger内では、追加機能なしから完成形へ、話者類似性の指標EERは48.58→51.39、音質評点MOSは3.56→4.10、類似度評点SIMは1.98→2.59だった。一方、LibriSpeech内の単語誤り率WERは5.27→6.02、文字誤り率CERは1.96→2.40だった。いずれも著者らの表に示された条件での値である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：制作中の仮歌を、許諾を得た別の歌手の録音に近い音色へ変換し、編曲段階で試聴する。入力は歌詞と音高を確認できる仮歌、目標歌手の参照録音とする。出力は、歌詞を保ちつつ目標歌手の音域に合わせて音高を調整した確認用の歌声である。
導入には変換器の学習用歌声、参照歌声、音高を推定する処理が要る。歌詞は聴き取り確認の照合情報として使い、論文は専用センサーや手作業の正解ラベルを必須とは記していない。制作担当者が持続音と子音を原音と聴き比べ、使えるか判断する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：利用可能な学習用歌声をそろえ、評価する歌手の録音は学習分から分けて参照音声に使う。入力の仮歌と歌詞を用意し、音高、WavLM特徴、周波数成分を論文の手順に沿って扱う。専用センサーや手作業の正解ラベルは本文で必須とされていないが、音高推定と時間位置合わせの処理は確認する。
同じ仮歌と参照録音で、追加機能なしの構成と完成形を比べる。同じ評価者と尺度で持続音の揺れ、音色の類似度、歌詞の聞き取りやすさを記録し、音域調整と録音条件も残す。曲ごとの改善と悪化を見て、用途に足るか判断する。
限界と課題
著者らが明示した課題は、土台となるWavLMの倍音表現の弱さと、従来の候補選択が時間的なつながりを考慮しない点である。提案手法自体の限界としては記されていない。一方、LibriSpeech内評価では完成形の単語誤り率と文字誤り率が、追加機能なしの構成より高い。
編集上の検証事項は、歌唱法や録音条件が変わっても音色と聞き取りやすさが両立するか、推論にかかる時間が制作工程に収まるかである。掲載された歌手、言語、評価条件を越える結果は、この評価からは判断できない。
出典
元のタイトル・要旨を確認する（英語）
kNN-SVC: Robust Zero-Shot Singing Voice Conversion with Additive Synthesis and Concatenation Smoothness Optimization
Robustness is critical in zero-shot singing voice conversion (SVC). This paper introduces two novel methods to strengthen the robustness of the kNN-VC framework for SVC. First, kNN-VC's core representation, WavLM, lacks harmonic emphasis, resulting in dull sounds and ringing artifacts. To address this, we leverage the bijection between WavLM, pitch contours, and spectrograms to perform additive synthesis, integrating the resulting waveform into the model to mitigate these issues. Second, kNN-VC overlooks concatenative smoothness, a key perceptual factor in SVC. To enhance smoothness, we propose a new distance metric that filters out unsuitable kNN candidates and optimize the summing weights of the candidates during inference. Although our techniques are built on the kNN-VC framework for implementation convenience, they are broadly applicable to general concatenative neural synthesis models. Experimental results validate the effectiveness of these modifications in achieving robust SVC. Demo: http://knnsvc.com Code: https://github.com/SmoothKen/knn-svc
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01