アーカイブ / Audio
中立音声だけで学習した話者に、別話者の感情表現を移す音声合成「SelfTTS」
SelfTTS
SelfTTSの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : SelfTTS model architecture. The emotion and speaker encoders receive mel-spectrogram slices of the reference waveform as input. Each encoder is optimized using the MPCL loss, while their embeddings are disentangled through a cosine-based GRL applied on top of the Linear Processor output for each encoder. The final forward step of the Normalizing Flows ( z p z_{p} ) is also disentangled using a cosine-based GRL, through a Convolutional Processor that predicts the corresponding emotion or speaker embedding. SDP stands for Stochastic Duration Predictor . Purple dashed arrows indicate the proposed Self-Augmentation pipeline.
概要
- 中立音声だけで学習した目標話者に、別話者の感情表現を移す音声合成法。
- 話者と感情の特徴を分け、モデル自身が声色を変換した音声で追加学習する。
- 提示された英語話者の評価では感情類似度の主観評価が比較モデルを上回ったが、自然さと単語誤り率では比較モデルが良い値を示した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、SelfTTSの仕組み
- 01文章と二種の参照音声
- 02話者・感情を抽出
- 03特徴を条件に音声合成
- 04目標話者の音声
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
SelfTTSが扱うのは、感情を込めた録音がない話者の声で、別の話者の感情表現を含む音声を作る課題だ。音声合成には、目標話者らしい声色と、抑揚などの表現の両方が求められる。
参照音声から感情を取り出す際、元の話者の声色まで混ざると、出力が目標話者らしく聞こえにくい。話者ごとに感情別の録音をそろえられない場合、声色と感情を分けて扱えるかが重要になる。
手法
SelfTTSは、読み上げる文章と、目標話者の声・移したい感情を示す参照音声を使う。各参照音声を、音の周波数ごとの強さを時系列で表すメルスペクトログラムにし、別々のエンコーダーで話者と感情の特徴を取り出す。例えば、目標話者の中立音声と別話者の「喜び」の音声を使い、指定した文章を目標話者の声で合成する。
学習時は、同じ話者または感情の特徴を近づけるMPCLという比較学習を使う。さらに、学習時の修正方向を逆にする勾配反転層と、特徴の向きの近さを測る余弦類似度を組み合わせ、話者と感情の情報の混入を抑える。基礎学習後はモデル自身で声色を変換した音声を作り、実録音と混ぜて感情エンコーダーを追加学習する。提示された評価用音声の生成には、学習データから得た話者・感情の代表的な特徴を使った。
新規性
SelfTTSは、話者と感情の特徴をそれぞれのラベルに沿ってまとめる学習と、両者に共通する情報を減らす学習を組み合わせる。外部で事前学習した話者・感情エンコーダーを必要としない設計を提案した。
基礎学習後には、モデル自身の音声変換で話者の声を入れ替えた合成音声を作り、追加学習に用いる。著者らは、この自己拡張によって感情表現と目標話者の声色を保ちつつ、自然さを改善すると位置付ける。
従来手法との違い
比較対象のE3-VITSもモデルが生成した音声を学習に使う。SelfTTSでは話者と感情の特徴を明示的に分け、自己拡張で作った音声を実録音と混ぜて感情エンコーダーへ入力する。もう一つの比較対象VECLは、事前学習済みの話者・感情エンコーダーを利用する。
提示された評価では、SelfTTSの感情類似度と話者類似度の主観評価は両比較モデルを上回った。一方、自然さの主観評価はE3-VITS、単語誤り率はVECLの方が良い。評価項目によって結果は異なる。
実験結果
著者らはESDの英語話者を使い、話者11と15については中立音声だけを学習に用い、感情音声を評価用に残した。英語母語話者30人の5段階評価では、感情類似度のeMOSがSelfTTSで2.853±0.107、E3-VITSで2.237±0.108、VECLで2.556±0.108だった。±は表に示された95％信頼区間である。
同じ表の自然さのnMOSはSelfTTSが2.746±0.109、E3-VITSが2.763±0.111。SelfTTSから自己拡張を除くと2.228±0.105だった。著者らは自己拡張による自然さの改善と解釈する。一方、音声認識の書き起こしから計算した単語誤り率はSelfTTSの0.2305に対し、VECLが0.1944で低かった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：短い案内文を、目標話者の声で感情別に読み上げる制作を試す。入力は発話文、目標話者の中立録音、別話者の感情を含む録音とし、出力は目標話者の声による案内音声とする。新たなセンサーは使わず、録音済み音声を入力にする想定だ。
適応には、発話文と対応する録音、話者ラベル、感情ラベルを持つ学習データが要る。対象言語と感情を絞って学習し、生成後は担当者が聞き取りやすさ、声の一致、意図した表現を確認して採否を決める。これは用途の提案であり、案内文での品質は検証されていない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象話者の中立録音と対応する発話文、感情を含む別話者の録音を集め、話者ラベルと感情ラベルを確認する。録音済み音声を使う計画とし、新たなセンサーは設けない。まず短い定型文に限定し、基礎学習後の自己拡張まで試す。
比較基準には、自己拡張を除いた同じ構成を置く。同一の文と感情条件で音声を作り、担当者の5段階評価で自然さ・感情・話者の一致を記録する。書き起こしから単語誤り率も求める。必要な録音量、目標話者への適応手順、業務上の許容値は、この試験で確認する。
限界と課題
著者らは、自己拡張に用いる音声変換では発話の長さを明示的に制御しないため、「悲しみ」などで話す速さの調整不足が悪影響を及ぼし得ると述べる。また、合成データを使う方法の品質は、生成した音声の品質に左右されると説明する。
編集上の検証事項は、対象言語や録音条件を変えた場合の品質と、長い案内文での声色・感情の安定性である。提示された主な数値は英語話者の評価に基づく。確認できた本文の範囲では、別用途に必要な録音量や品質の許容値は定められない。
出典
元のタイトル・要旨を確認する（英語）
SelfTTS: cross-speaker style transfer through explicit embedding disentanglement and self-refinement using self-augmentation
This paper presents SelfTTS, a text-to-speech (TTS) model designed for cross-speaker style transfer that eliminates the need for external pre-trained speaker or emotion encoders. The architecture achieves emotional expressivity in neutral speakers through an explicit disentanglement strategy utilizing Gradient Reversal Layers (GRL) combined with cosine similarity loss to decouple speaker and emotion information. We introduce Multi Positive Contrastive Learning (MPCL) to induce clustered representations of speaker and emotion embeddings based on their respective labels. Furthermore, SelfTTS employs a self-refinement strategy via Self-Augmentation, exploiting the model's voice conversion capabilities to enhance the naturalness of synthesized speech. Experimental results demonstrate that SelfTTS achieves superior emotional naturalness (eMOS) and robust stability in target timbre and emotion compared to state-of-the-art baselines.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01