アーカイブ / Audio
声色と話し方を別々に指定する中国語音声合成「DMP-TTS」
DMP-TTS
DMP-TTSの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: (a) Overall architecture of DMP-TTS. (b) Unified multi-modal style encoder.
概要
- 参照音声または説明文で話し方を指定し、文章・声色・話し方への従い方を個別に調整する。
- 中国語の評価で、説明文指定時の感情・音量・話速の精度は0.64・0.85・0.73だった。
- 著者らは一部の比較モデルより低い話者類似度と、誘導を強めすぎた際の自然さの低下を報告している。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、DMP-TTSの仕組み
- 01文章・声の見本・話し方
- 02条件を別々に符号化
- 03連鎖誘導で音声表現を生成
- 04音声波形へ変換
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
DMP-TTSは文章から音声を作る際、声色（誰の声に聞こえるかを左右する特徴）と、感情・音量・話速などの話し方を分けて指定する手法だ。別人の発話を話し方の見本に使うと、その人の声色まで生成音声に混ざり、目標話者らしさが変わることがある。
既存の指定方法には、参照音声、属性ラベル、説明文がある。著者らは、声色と話し方が混ざる問題に加え、音声か文章の一方でしか話し方を指定できない方式が多い点を課題としている。
手法
読み上げ文は文章用の符号化器へ、目標話者の録音は話者用の符号化器へ渡す。話し方は別の参照音声か、「悲しい、ゆっくり」のような説明文で指定する。Style-CLAPは音声と説明文を共通の数値表現に写す仕組みで、両者を近づける学習に、感情・音量・話速を見分ける課題も加える。
生成部は拡散Transformer（雑音から音声の内部表現を段階的に作るモデル）を使う。連鎖型ガイダンスは文章、声色、話し方を順に加えた予測の差から、各指定に従う強さを個別に調整する。文章と話し方に応じて発音の長さも予測し、最後に内部表現を音声波形へ戻す。
新規性
著者らの提案は、参照音声と説明文から話し方を共通の表現に写すStyle-CLAPと、文章・声色・話し方への従い方を個別に調整する連鎖型ガイダンスを組み合わせた点にある。
学習時には、Whisperの音声特徴と生成モデルの中間表現を近づける。著者らは、この処理が学習の安定化と収束の早期化に役立つと報告している。
従来手法との違い
著者らは、中国語に対応する公開モデルのCosyVoice、CosyVoice2、IndexTTS2を、追加学習なしの設定で比較した。DMP-TTSは説明文と参照音声の両方で話し方を指定できる。IndexTTS2の文章による指定は感情に限られ、その条件の評価値は示されていない。
比較モデルは約10万時間の音声で事前学習され、DMP-TTSの学習データは約300時間だった。学習条件が揃った比較ではない。表ではDMP-TTSの話者類似度が0.71～0.72で、CosyVoice2の0.80、IndexTTS2の0.76を下回る。
実験結果
著者らは約300時間、約25万発話、約1000話者の社内中国語音声で学習した。評価には学習データから話し方の属性が偏らないよう選んだ100発話を使い、属性ラベルを人手で確認した。合成文は学習時と異なる領域から用意し、声色と話し方の参照には異なる話者の発話を割り当てた。
著者らの表では、説明文指定時の感情・音量・話速の精度は0.64・0.85・0.73、音声指定時は0.55・0.82・0.74だった。単語誤り率は順に0.038・0.043で、IndexTTS2は0.028。音声指定時の自然さの主観評価は3.82±0.23、元の録音は3.86±0.21だった。感情精度は聴取者の判定ではなく音声分類モデルで測定した。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：施設の中国語案内を、同じ案内役の声で場面ごとに読み分ける。案内文、目標話者の参照音声、話し方を示す説明文を入力し、生成音声を担当者が確認してから採用する。これは原文で検証された用途ではない。
推論には参照音声の収録が必要で、音声以外のセンサーは想定しない。施設向けに追加学習するなら、中国語音声と対応文章、話者ID、感情・音量・話速のラベルを用意する。原研究の学習元は社内の中国語音声であり、施設データへの適応手順は示されていない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：中国語の案内文を複数用意し、同じ文章を通常の固定設定とDMP-TTSで読み上げる。目標話者の収録音声を声色の参照に使い、話し方は説明文で指定する。担当者が読み違い、声色の一貫性、感情・音量・話速の一致を記録し、固定設定との差を比べる。
施設向けの追加学習を試すなら、中国語の収録音声と対応文章、話者ID、感情・音量・話速のラベルを揃え、声色を固定して話し方だけを変えた組も確認する。収録には音声入力を使い、追加のセンサーは想定しない。原文に施設データへの適応手順はないため、学習方法と必要なデータ量は先に検証する。
限界と課題
著者らは、話者類似度がCosyVoice2とIndexTTS2を下回ったと報告する。また、指定への従い方を強めすぎると自然さが落ち、指定していない属性の評価値もわずかに下がり得ると述べる。強さの設定には調整が必要だ。
編集上の検証事項として、評価用の100発話は学習データから選ばれ、合成する文章は学習時と異なる領域から用意された点がある。施設固有の文章や話者で同じ結果になるか、中国語以外でも使えるかは、この評価だけでは判断できない。
出典
元のタイトル・要旨を確認する（英語）
DMP-TTS: Disentangled multi-modal Prompting for Controllable Text-to-Speech with Chained Guidance
Controllable text-to-speech (TTS) systems face significant challenges in achieving independent manipulation of speaker timbre and speaking style, often suffering from entanglement between these attributes. We present DMP-TTS, a latent Diffusion Transformer (DiT) framework with explicit disentanglement and multi-modal prompting. A CLAP-based style encoder (Style-CLAP) aligns cues from reference audio and descriptive text in a shared space and is trained with contrastive learning plus multi-task supervision on style attributes. For fine-grained control during inference, we introduce chained classifier-free guidance (cCFG) trained with hierarchical condition dropout, enabling independent adjustment of content, timbre, and style guidance strengths. Additionally, we employ Representation Alignment (REPA) to distill acoustic-semantic features from a pretrained Whisper model into intermediate DiT representations, stabilizing training and accelerating convergence. Experiments show that DMP-TTS delivers stronger style controllability than open-source baselines while maintaining competitive intelligibility and naturalness. Code and demos will be available at https://y61329697.github.io/DMP-TTS/.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01