アーカイブ / Audio
感情を変えても狙った語を強調する音声合成「EME-TTS」
EME-TTS
EME-TTSの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
(b) Variance Adapter
概要
- EME-TTSは感情と強調位置を条件に、強調語の音の高さ・長さを調整して音声を生成する。
- 英語版ESDの聴取評価では、強調語の平均正答率はEPEなしの0.73からEME-TTSの0.78になった。
- 感情認識器による平均正答率はEME-TTSが0.73、EmoSpeechが0.72、EPEなしが0.74だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、EME-TTSの仕組み
- 01テキスト・感情指定
- 02強調位置の予測
- 03音素・韻律の処理
- 04音声出力
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
EME-TTSは、感情と強調位置を条件に読み上げ音声を作る手法だ。強調とは、語の音の高さや長さなどを変えて目立たせることをいう。感情を付けた音声では、その変化によって狙った語の強調が聞き取りにくくなる場合がある。
著者らは、強調が感情の表現にどう役立つか、感情が変わっても指定語を聞き分けられるかを調べた。台本を音声化する場面では、感情と情報上の焦点がずれると、同じ文でも伝わり方が変わりうる。
手法
学習時は英語版ESDの録音に、EmphaClassという強調認識器で語の位置を付ける。これは人手で確定した正解ではなく擬似ラベルだ。テキストから得た音素列を処理し、韻律、つまり音の高さ・長さ・強さの変化を予測する。強調語の高さと長さが文全体の平均からどれだけ違うかも学習し、指定位置に反映する。
生成時はテキストと感情ラベルから大規模言語モデルが強調位置を予測する。例えば驚きを表す文で目立たせる語を決め、EPEが音素間の関係を計算する際に感情とその位置を考慮する。音の特徴を表すメルスペクトログラムを生成し、音声へ変換する。
新規性
著者らの提案は、感情を指定する音声合成に、強調位置の擬似ラベルと、強調語の音の高さ・長さが文全体からどれだけ変わるかを組み込んだ点にある。擬似ラベルとは、認識器が推定した学習用の目印を指す。
さらにEPEで感情の情報と指定した強調位置の関係を調整する。著者らは、感情と強調の関係を体系的に調べた最初の研究だと位置付けている。
従来手法との違い
基礎となるEmoSpeechは感情を条件に音声を生成する。EME-TTSは強調位置と、その位置での音の高さ・長さの変化を加える。論文はEPEを外したEME-TTSも評価し、指定語の聞き分けと音質への寄与を調べた。
感情の聞き分けにはCosyVoice2も比較対象として使った。ただし、その生成時の入力は中立の参照音声と感情を表す文による指示である。各モデルの結果は、論文に記された入力条件での比較として読む必要がある。
実験結果
著者らは英語版ESDの10人・５感情を使い、各モデルのテスト音声1,550件を感情認識器Emotion2vec-plus-largeで判定した。平均正答率はEME-TTSが0.73、EmoSpeechが0.72、EPEなしが0.74で、EPEによる一律の改善は示していない。
11人の聴取評価では、80件の音声から強調語を当てる平均正答率がEPEなしの0.73に対しEME-TTSで0.78だった。感情を当てる評価ではEME-TTSが0.67、EmoSpeechが0.58。100件を対象に音質と自然さを５点尺度で評価したMOSは、EME-TTSが4.22±0.28、EPEなしが3.98±0.32だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：英語の接客研修台本から、同じ文の感情と強調語を変えた聞き比べ用音声を作る。入力は台本、感情ラベル、強調したい語で、出力は研修担当者が比較できる複数の読み上げ音声とする。
対象業務の話し方に適応させる場合は、録音と対応テキスト、感情ラベルを集め、強調位置には認識器の擬似ラベルを付けて確認する。既存録音を使う案では追加センサーは想定しない。研修での効果は、この研究からは判断できない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：英語の研修台本から、感情と強調語を指定した短文を選ぶ。対象話者に適応学習するなら、録音、対応テキスト、感情ラベルを用意し、強調位置の擬似ラベルを付けて点検する。既存録音を使う範囲では追加センサーを設けない。
同じ台本と感情条件でEmoSpeechとEME-TTSの音声を作り、聞き手が指定語と感情を正しく答えた割合、５点尺度の自然さを測る。感情別にも集計し、驚きで文末を強調語と取り違える例と、中立が感情的に聞こえる例を記録する。
限界と課題
著者らは、驚きの音声では文末の音の高さが上がり、聞き手が文末を強調語と取り違える例を報告した。主観評価では、強調を加えた中立の音声が感情的に聞こえる傾向も示された。改善が限られた感情への強調方法は今後の課題としている。
編集上の検証事項は、英語版ESDでの結果が対象の台本や話者にも当てはまるか、擬似ラベルの誤りが指定語の聞こえ方にどう影響するかである。感情と強調語の正答率に加え、指定していない語が目立つ例も確認したい。
出典
元のタイトル・要旨を確認する（英語）
EME-TTS: Unlocking the Emphasis and Emotion Link in Speech Synthesis
In recent years, emotional Text-to-Speech (TTS) synthesis and emphasis-controllable speech synthesis have advanced significantly. However, their interaction remains underexplored. We propose Emphasis Meets Emotion TTS (EME-TTS), a novel framework designed to address two key research questions: (1) how to effectively utilize emphasis to enhance the expressiveness of emotional speech, and (2) how to maintain the perceptual clarity and stability of target emphasis across different emotions. EME-TTS employs weakly supervised learning with emphasis pseudo-labels and variance-based emphasis features. Additionally, the proposed Emphasis Perception Enhancement (EPE) block enhances the interaction between emotional signals and emphasis positions. Experimental results show that EME-TTS, when combined with large language models for emphasis position prediction, enables more natural emotional speech synthesis while preserving stable and distinguishable target emphasis across emotions. Synthesized samples are available on-line.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01