アーカイブ / Audio
5秒の話し声から音色を参照する歌声合成・変換
Everyone-Can-Sing
Everyone-Can-Singの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: Proposed zero-shot SVS and SVC framework.
概要
- 楽譜と歌詞からの歌声合成、および入力歌声の変換に、約5秒の話し声を音色の参照として使う。
- 歌声変換には、時刻を合わせた歌詞を使う方式と、入力歌声から発音情報を抽出する方式がある。
- 著者らの聴取評価では、提案する歌声合成のMOSは3.98、音色類似度のSIM-MOSは3.78だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Everyone-Can-Singの仕組み
- 01楽譜・歌詞・話声
- 02歌唱要素を分離
- 03音響特徴を生成
- 04歌声の波形
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この手法は、短い話し声を参照して歌声を作るか、既存の歌声の音色を変える。歌声合成は楽譜などの指定から歌声音声を作り、歌声変換は入力された歌唱を基に別の声へ変える処理である。
学習時に含まれない声を短い参照音声だけで扱うことを「ゼロショット」と呼ぶ。話声と歌声では音域や発声が異なり、歌唱データも限られるため、発音や歌い方を保ちながら音色を移すことが課題になる。
手法
合成モデルは、各音の高さと長さを記した楽譜、対応する歌詞、ジャンルや歌唱技法を示すスタイル指定、約5秒の話し声を受け取る。楽譜から音高と音量の時間変化を作り、歌詞から発音とその時刻の情報を作る。話声からは音色を表す情報を抽出する。例えば短い旋律と歌詞を与え、参照話声の音色に近い歌声を出す。
これらの情報から、拡散という段階的な生成法でメルスペクトログラムを作り、音声波形に変える。メルスペクトログラムは音の周波数成分を時間ごとに表したものだ。変換では音高と音量を入力歌声から取り、発音情報には時刻を合わせた歌詞、または入力歌声から抽出した情報を使う。
新規性
著者らは、学習時に含まれない人の約5秒の話し声を音色の参照に使い、楽譜からの歌声合成と既存の歌声の変換を一つの枠組みで扱う。歌詞、音高や強弱、歌唱スタイル、音色を別々の入力として指定する構成である。
歌声変換には二方式を設けた。一方は発音の時刻を合わせた歌詞を使い、もう一方は入力歌声から発音情報を抽出するため、その歌詞注釈を必要としない。
従来手法との違い
歌声合成の比較対象ExpressiveSingerは、学習に含まれる歌手の歌声を参照して評価されている。提案する合成モデルは未学習の人の話し声を参照するため、両者の点数を同じ参照条件での優劣とは読めない。
歌声変換では、既存モデルUnifiedの公開デモと、話声向けに学習されたGR0を比較対象とした。提案する二方式は入力歌声の音高と音量を使い、参照話声に基づく音色を与える。Unifiedは公開デモの利用可能な組数に制約がある。
実験結果
著者らは歌唱品質のMOSと、参照音声との音色類似度を表すSIM-MOSを、各1～5点の聴取評価で調べた。検証を通過した回答は487件。比較表に載る提案モデルはいずれも話声を参照し、生成時に音域を調整している。
歌声合成はMOS 3.98、SIM-MOS 3.78だった。歌詞の時刻合わせを使わない変換方式は順に4.00、3.59で、GR0は2.92、3.51だった。著者らは提案する変換方式の改善を報告するが、これらの数値は表に示された参照音声と評価条件での結果である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：ゲーム制作で、登場人物の仮歌を担当者の話し声に近い音色で試作する。音符の高さと長さを記した楽譜、対応する歌詞、スタイル指定、本人の約5秒の話声録音を入力し、確認用の歌声音声を出力する。
必要なのは、歌唱音声と話声音声を使って学習されたモデルと、楽譜に対応付けた歌詞である。収録機材の指定は確認できた本文の範囲ではない。生成後に発音と音域を確認し、歌詞の対応付けや音域調整を見直す運用を想定する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：短い一曲を選び、音符の高さと長さを記した楽譜、音符に対応する歌詞、スタイル指定、本人の話声録音をそろえる。合成モデルの学習には歌唱音声と話声音声が使われているため、その条件に合うモデルで試す。追加の収録センサーや再学習の要否は確認できた本文の範囲では指定されていない。
基準には同じ曲の既存の仮歌を置く。同じ聴取者に、発音の明瞭さ、音程、自然さ、参照話声との音色の近さを個別に採点してもらう。音域調整の有無でも比較し、品質と類似度の両方を確認する。
限界と課題
著者らは、話声を参照する場合より歌声を参照する場合のほうが、音色の類似度が高い傾向を報告した。音域調整は類似度を高める一方、曲を低く移すと歌唱品質が下がる場合がある。評価ではポップよりオペラの点数が低かった。
編集上の検証事項として、使う人の短い話声と対象曲で、音色、発音、音程を確かめる必要がある。聴取評価の点数は調査で用いた音声と条件に依存するため、別の曲や録音でも同じ点数になるとは判断できない。
出典
元のタイトル・要旨を確認する（英語）
Everyone-Can-Sing: Zero-Shot Singing Voice Synthesis and Conversion with Speech Reference
We propose a unified framework for Singing Voice Synthesis (SVS) and Conversion (SVC), addressing the limitations of existing approaches in cross-domain SVS/SVC, poor output musicality, and scarcity of singing data. Our framework enables control over multiple aspects, including language content based on lyrics, performance attributes based on a musical score, singing style and vocal techniques based on a selector, and voice identity based on a speech sample. The proposed zero-shot learning paradigm consists of one SVS model and two SVC models, utilizing pre-trained content embeddings and a diffusion-based generator. The proposed framework is also trained on mixed datasets comprising both singing and speech audio, allowing singing voice cloning based on speech reference. Experiments show substantial improvements in timbre similarity and musicality over state-of-the-art baselines, providing insights into other low-data music tasks such as instrumental style transfer. Examples can be found at: everyone-can-sing.github.io.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01