アーカイブ / Audio
短い参照音声から話者と抑揚を反映する音声合成「MultiVerse」
MultiVerse
概要
- 短い参照音声を使い、未学習話者の読み上げ、言語間合成、話し方の転写を扱う。
- 音素ごとの長さ・高さ・強さを予測し、声道側と音源側の表現に参照音声を反映して合成する。
- 著者らの英語・中立音声を参照した同一言語評価では、話者類似度SECSは0.852だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、MultiVerseの仕組み
- 01入力文と参照音声
- 02音素別の抑揚予測
- 03声道・音源表現の生成
- 04発話音声
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
MultiVerseは、指定した文を、短い参照音声の話者らしい声と抑揚で読み上げる音声合成法である。学習に登場しなかった話者の声を参照して合成する条件を「ゼロショット」と呼ぶ。言語をまたぐ合成や、別の音声から話し方を移す課題も扱う。
著者らは、大量の音声で学習する方法にはデータ準備の費用がかかり、参照音声の抑揚も十分に反映できない場合があると指摘する。特に学習音声を集めにくい言語では、必要なデータ量と、声色だけでなく話す調子を保てるかが実用上の論点になる。
手法
入力文を発音の単位である音素に変え、参照音声とともにモデルへ渡す。まず、各音素の長さ、声の高さ、強さをまとめて予測する。ここでは自己回帰、つまり前に予測した値を次の予測にも使う方法を採る。たとえば韓国語の案内文なら、各音をどれほど長く、高く、強く読むかを決める。
次に、発音内容や声の響きに関わる「フィルター表現」と、抑揚に関わる「音源表現」を別々に生成し、参照音声の特徴を双方へ反映する。音源側では予測値を使い、細かな時間単位の抑揚も整える。両者を合わせて、周波数ごとの音の強さを示すメルスペクトログラムを作り、別の音声変換器で発話にする。話し方の転写では、話者用とスタイル用に異なる参照音声を渡せる。
新規性
著者らが提案するのは、声道の響きに関わる表現と、抑揚に関わる音源側の表現を分け、参照音声の情報を両方の生成器へ反映する構成である。二つの表現を合わせて音声の特徴を作る。
抑揚には、音素ごとの長さ・高さ・強さを前の予測も使って求める処理と、細かな時間単位で整える処理を組み合わせる。同じモデルで未学習話者の読み上げ、言語間合成、話し方の転写を扱う。
従来手法との違い
同じ学習データを使う比較では、著者らはGANSpeech+とYourTTSを学習させた。MultiVerseは、参照音声を声道側と音源側の表現に反映し、音素ごとの長さ・高さ・強さも予測する。GANSpeech+には未学習話者と言語間の課題に対応できるよう、事前学習済みの話者符号化器を加えている。
VALL-Eなど大規模モデルとの比較は条件が異なる。著者らは公開音声例と同じ参照音声・台本を使ってMultiVerseの音声を作ったが、学習データをそろえて各モデルを再学習した比較ではない。
実験結果
著者らは、学習に含まれない話者の英語・韓国語音声を、中立的・表現豊かな話し方と、同一言語・言語間の条件で評価した。参照音声は3秒で、計400件を合成した。指標には文字・単語誤り率、話者の埋め込み表現の類似度SECS、声の高さの相関、聴取者の評点を用いた。
表1の英語・中立音声を参照する同一言語条件では、SECSはMultiVerseが0.852、GANSpeech+が0.736、YourTTSが0.810だった。一方、自然さの評点N-MOSはMultiVerseが3.87、GANSpeech+が3.83で、差は小さい。韓国語の話し方の転写も別に評価しているが、この数値を他の言語や業務音声へそのまま当てはめることはできない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：韓国語の社内案内文を、担当者の声に別の許諾済み録音の話し方を反映して読み上げる。入力は案内文、担当者の声の参照録音、話し方の参照録音とし、出力は担当者が確認する韓国語音声とする。利用前に社内用語の読みも確認する。
適用には、韓国語の音声と対応する文字起こしを学習用に用意し、音素の長さ・声の高さ・強さを音声から抽出する。参照音声の収録にはマイクが要る。案内文の発音を確認して入力に反映する作業も必要で、担当者の声や話し方が再現できるかは試作で確かめる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：利用許諾を得た韓国語音声と対応する文字起こしを用意し、学習用と評価用を分ける。文字を音素に変換し、音声との対応から音素の長さ、声の高さ、強さを抽出する。参照音声はマイクで収録し、話者用と話し方用の録音を区別して管理する。
小規模な試作では、同じ学習データで比較対象のGANSpeech+も用意し、未学習話者の案内文を両方で合成する。文字誤り率、SECS、自然さと話者類似度の聴取評点を比べ、社内用語の誤読も数える。話し方を分けて指定する場合は、その反映度も聞き比べて導入可否を決める。
限界と課題
著者らは、大規模モデルとの言語間比較で話者類似度が低い条件を報告し、学習に含まれない言語の参照音声を原因候補として挙げる。また、韓国語の表現豊かな音声を参照して英語を合成する条件では、英語学習データの表現豊かな発話が不足していたことを評点低下の理由として述べる。
編集上の検証事項は、対象組織の録音環境や専門語でも聞き取れるか、声と抑揚を意図どおりに反映できるかである。本文で確認できる評価は特定の言語、参照音声、比較条件に限られるため、業務での品質は別途測る必要がある。
出典
元のタイトル・要旨を確認する（英語）
MultiVerse: Efficient and Expressive Zero-Shot Multi-Task Text-to-Speech
Text-to-speech (TTS) systems that scale up the amount of training data have achieved significant improvements in zero-shot speech synthesis. However, these systems have certain limitations: they require a large amount of training data, which increases costs, and often overlook prosody similarity. To address these issues, we propose MultiVerse, a zero-shot multi-task TTS system that is able to perform TTS or speech style transfer in zero-shot and cross-lingual conditions. MultiVerse requires much less training data than traditional data-driven approaches. To ensure zero-shot performance even with limited data, we leverage source-filter theory-based disentanglement, utilizing the prompt for modeling filter-related and source-related representations. Additionally, to further enhance prosody similarity, we adopt a prosody modeling approach combining prompt-based autoregressive and non-autoregressive methods. Evaluations demonstrate the remarkable zero-shot multi-task TTS performance of MultiVerse and show that MultiVerse not only achieves zero-shot TTS performance comparable to data-driven TTS systems with much less data, but also significantly outperforms other zero-shot TTS systems trained with the same small amount of data. In particular, our novel prosody modeling technique significantly contributes to MultiVerse's ability to generate speech with high prosody similarity to the given prompts. Our samples are available at https://nc-ai.github.io/speech/publications/multiverse/index.html
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01