アーカイブ / Audio
音素の位置を粗く示し、話者の声で英語を読み上げるS-DiT
S-DiT
S-DiTの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: (a) The WaveVAE model; (b) Overview of S-DiT. We insert the sparse alignment anchors into the latent vector sequence to provide coarse alignment information. The transformer blocks in S-DiT will automatically build fine-grained alignment paths.
概要
- 各音素の発音区間に一つだけ位置の目印を置き、細かな文章と音声の対応は生成器に学ばせる。
- 著者らのLibriSpeech test-cleanでの報告値は、単語誤り率1.82％、話者類似度SIM-Oが0.71。
- 文章と話者音声の影響を別々に調節でき、高速版では生成の反復を25回から8回に減らしたと報告する。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、S-DiTの仕組み
- 01英語原稿と話者音声
- 02音素の位置目印
- 03潜在音声の生成
- 04音声波形への復元
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
S-DiTは、数秒の話者音声を手掛かりに、入力文をその人に近い声で読み上げる。学習時に個別登録していない声を扱うため、ゼロショット音声合成と呼ばれる。実用では、難しい文でも語を落とさず、自然な間合いで読めることが重要になる。
鍵は、文章中の音が生成音声のどの部分に当たるかを示す「アラインメント」である。著者らによると、対応をモデル任せにすると難しい文で不安定になり得る一方、発音区間を厳密に固定すると自然な話し方を妨げ得る。
手法
文章を音素という発音の単位で扱い、各音素の区間に一つずつ位置の目印を残す。例えば三つの音素が順に2、2、3枠を占める場合、全7枠に音素を割り当てず、各区間から一枠だけ残してほかを空欄にする。目印を圧縮した音声表現と結び、生成器が細かな対応を決める。
話者音声はWaveVAEで短い数値列に圧縮する。生成器は文章と話者の特徴を条件に、雑音から音声の数値列を段階的に作り、WaveVAEの復元器が波形に戻す。文章と話者それぞれの効かせ方を調節してアクセントを変える。高速版では、生成過程を短い区間に分けて学び直すPeRFlowを使う。
新規性
著者らが提案するのは、各音素の発音区間を全面的に固定せず、区間内に一つだけ位置の目印を残す「疎なアラインメント」である。大まかな順序を示し、細かな音のつながりは生成器に学習させる。
加えて、文章と話者音声が生成に与える影響を別々に調節し、英語のアクセントの強さを変える。学習済み生成器を短い時間区間ごとに別の生成器へ移すPeRFlowも用い、生成の反復回数を25回から8回に減らしたと報告する。
従来手法との違い
著者らが対比するのは、文章と音声の対応をモデル内で学ぶ方式と、各音素の発音区間を事前に固定する方式である。前者は難しい文で明瞭さが下がり得る一方、後者は固定した長さが自然な抑揚を制約し得る、と説明する。
S-DiTは音素の目印を与え、区間内の細かな対応を生成器に委ねる。LibriSpeech test-cleanでの単語誤り率はS-DiTが1.82％、固定対応を用いるNaturalSpeech 3が1.81％で、この指標に限ればS-DiTの優位は示されていない。
実験結果
著者らはLibriLightの約6万時間の音声を、内部の音声認識による文字起こしと外部ツールによる対応付けを用いて学習した。LibriSpeech test-cleanでは、S-DiTの単語誤り率が1.82％、話者類似度SIM-Oが0.71、高速版は順に1.86％、0.70だった。SIM-Oは生成音声と話者音声の特徴の近さを測る。
同じ表のNaturalSpeech 3は1.81％、0.67。著者らが報告した実時間係数はS-DiTが0.188、高速版が0.124で、音声の長さに対する生成時間の比を表す。8回の反復で1分の音声を生成できるとの報告もあるが、その例の実測時間はここには示されていない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：英語の社内研修原稿と、使用を認められた話者の短い音声を入力し、試聴用の読み上げ音声を作る。担当者はアクセント設定を変えた候補を聞き、固有名詞の発音と聞き取りやすさを確認して採用する。
分野に合わせて再学習する場合は、許諾を得た英語音声、文字起こし、音素と音声の対応付けを用意する。評価には正解原稿と期待する読み方の記録が要る。追加センサーは想定しない。研修原稿で同じ品質が得られるかは未検証である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：英語の短い研修原稿と固有名詞を含む長文を集め、正解原稿、期待する読み方、許諾を得た話者音声を用意する。追加センサーは使わない。再学習が必要なら、英語音声と文字起こしから音素対応を作り、対応付けの誤りを点検する。
同じ原稿と話者音声を現行の読み上げ方法にも入力し、語の脱落・置換、試聴者による話者らしさと聞き取りやすさ、生成時間を比べる。アクセント設定も段階的に変えて記録する。採用基準を先に定め、論文の評価値を業務原稿での品質保証とは扱わない。
限界と課題
著者らは、対応を明示しない方式では難しい文の明瞭さ、発音区間を固定する方式では自然さや発音時間の予測への依存を課題として挙げる。S-DiTは予測が不正確でも自然さを保つと述べるが、その条件別の数値は確認できた本文の範囲では示されていない。
編集上の検証事項は、長文や固有名詞での語の脱落、アクセント調節時の話者らしさ、実際の生成時間である。また、入力の原題と要約はMegaTTS 3、本文はS-DiTと呼ぶ。両名称の対応は確認が必要である。
出典
元のタイトル・要旨を確認する（英語）
MegaTTS 3: Sparse Alignment Enhanced Latent Diffusion Transformer for Zero-Shot Speech Synthesis
While recent zero-shot text-to-speech (TTS) models have significantly improved speech quality and expressiveness, mainstream systems still suffer from issues related to speech-text alignment modeling: 1) models without explicit speech-text alignment modeling exhibit less robustness, especially for hard sentences in practical applications; 2) predefined alignment-based models suffer from naturalness constraints of forced alignments. This paper introduces \textit{MegaTTS 3}, a TTS system featuring an innovative sparse alignment algorithm that guides the latent diffusion transformer (DiT). Specifically, we provide sparse alignment boundaries to MegaTTS 3 to reduce the difficulty of alignment without limiting the search space, thereby achieving high naturalness. Moreover, we employ a multi-condition classifier-free guidance strategy for accent intensity adjustment and adopt the piecewise rectified flow technique to accelerate the generation process. Experiments demonstrate that MegaTTS 3 achieves state-of-the-art zero-shot TTS speech quality and supports highly flexible control over accent intensity. Notably, our system can generate high-quality one-minute speech with only 8 sampling steps. Audio samples are available at https://sditdemo.github.io/sditdemo/.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01