アーカイブ / Audio
文章から発話・単語・音素の感情を順に予測する音声合成法
Multi-Step Hierarchical Emotion Distribution Prediction
Multi-Step Hierarchical Emotion Distribution Predictionの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Inference diagram of the proposed system: (a) TTS with emotion prediction; (b) TTS with emotion control; and (c) emotion editing. The hierarchical emotion distribution (ED) can be obtained in three ways: (1) directly predicted from the input text (“Emotion Prediction”), (2) predicted from the input text with user modifications (“Emotion Control”), or (3) extracted from the input audio and manually adjusted by users (“Emotion Editing”).
概要
- 発話全体、単語、音素の順に感情分布を予測し、文章からの音声合成と感情調整に使う。
- 文章から予測した感情分布を外部モジュール方式で使う比較では、MUSHRA自然さは段階的予測が54.0±2.3、並行予測が50.7±2.4だった。
- 文章から予測するFastSpeech2内蔵方式では、音高の歪みとFDは並行予測より改善せず、著者らは予測誤差の蓄積を一因に挙げた。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Multi-Step Hierarchical Emotion Distribution Predictionの仕組み
- 01入力文
- 02発話感情分布
- 03単語感情分布
- 04音素感情分布
- 05合成音声
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この手法は、文章から作る音声の感情を、発話全体から個々の音まで調整する。文全体の調子だけでは、特定の語を強めるような細かな表現を扱いにくいことが背景にある。
著者らが使う感情分布は、怒りや喜びなど各感情の強さを並べた数値である。読み上げ音声を実務で使うなら、内容の聞き取りやすさに加え、どの箇所にどの程度の感情が載るかを確かめる必要がある。
手法
学習時には、音声と書き起こしの位置を対応付け、発話・単語・音素の区間を得る。音素は言葉を構成する個々の音の単位である。各区間から音の特徴を取り出し、感情ごとの強さを数値化して予測の目標にする。文章からは発話全体、単語、音素の順に感情分布を予測し、前の段階の結果を次に渡す。
例えば案内文では、まず文全体の調子を予測し、次に各語とその中の音の調子を決める。得られた分布は、音高・長さ・音の強さを予測する処理とともに音声合成に使う。文章から予測した値を利用者が変える経路に加え、元の音声と書き起こしから分布を取り出して編集する経路も示された。
新規性
著者らが提案するのは、発話全体、単語、音素の感情分布を順に予測し、広い範囲の予測結果を次の細かな予測に使う方法である。感情を各段階で独立に予測する従来方式との違いは、この段階間のつながりにある。
予測器をFastSpeech2の分散アダプターに組み込む方式と、外部モジュールとして置く方式を検討した。文章から得た分布を利用者が変更する感情制御にも対応する。
従来手法との違い
主な比較対象は、著者らの従来方式である。従来方式は発話・単語・音素の感情分布を並行して予測する。提案方式は発話から単語、音素へ順に予測し、外部モジュール方式とFastSpeech2内蔵方式のそれぞれで比較された。
感情編集では、MsEmoTTSをFastSpeech2上に再実装した方式を比較対象とした。ただし、確認できた本文の範囲では編集実験の結果表はなく、その比較の優劣は確認できない。
実験結果
著者らは、文章からの感情予測にLibriTTS-Rのtrain-clean-100とtrain-clean-360、音声の感情編集にESDの英語音声を使用した。主観評価は20人が各210サンプルを評価し、MUSHRAでは自然さと感情の類似度を0～100で採点した。
著者らの報告では、文章から予測した分布を外部モジュール方式で使う場合、段階的予測の自然さは54.0±2.3、並行予測は50.7±2.4だった。単語誤り率は3.25対3.80。一方、内蔵方式の音高の歪みは17.2対16.7、FDは46.3対41.4で、両指標は改善しなかった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：問い合わせ窓口の定型回答を読み上げる音声案内で、担当者が注意を促す単語の感情強度を調整する。入力は読み上げ文と調整する語、出力は担当者が試聴する合成音声とする。発話全体の調子と語の聞こえ方を確認してから採用を判断する。
適応には、対象言語の音声、対応する書き起こし、話者情報、発話単位の感情ラベルを持つ学習データが要る。音声と文字の区間を対応付け、区間ごとの感情値を作る工程も必要である。業務文で意図した調整が伝わるかは未検証の応用仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象業務の短い原稿と、対象言語の音声、書き起こし、話者情報、発話単位の感情ラベルを用意する。音声と文字の区間を対応付け、区間ごとの感情値を作ってから、小規模な音声合成モデルに適応させる。
同じ原稿を感情調整なしで合成した音声を比較基準とする。指定した語の強調が意図どおり伝わるかを聴取者に評価してもらい、自然さと書き起こしの誤り率も記録する。調整の効果と聞き取りやすさを別々に確認する。
限界と課題
著者らは、文章から感情分布を予測するFastSpeech2内蔵方式で、段階的予測が音高の歪みと長さのずれを表すFDを改善しなかったと報告する。発話から音素へ進む際の予測誤差の蓄積を、その一因として挙げている。
編集上の検証事項は、対象言語や業務文でも意図した感情調整が伝わるか、聞き取りやすさを損なわないかである。確認できた本文の範囲では感情編集の結果表を追えず、外部モジュール方式を別の音声合成モデルに適用した結果も確認できない。
出典
元のタイトル・要旨を確認する（英語）
Multi-Step Prediction and Control of Hierarchical Emotion Distribution in Text-to-Speech Synthesis
We investigate hierarchical emotion distribution (ED) for achieving multi-level quantitative control of emotion rendering in text-to-speech synthesis (TTS). We introduce a novel multi-step hierarchical ED prediction module that quantifies emotion variance at the utterance, word, and phoneme levels. By predicting emotion variance in a multi-step manner, we leverage global emotional context to refine local emotional variations, thereby capturing the intrinsic hierarchical structure of speech emotion. Our approach is validated through its integration into a variance adaptor and an external module design compatible with various TTS systems. Both objective and subjective evaluations demonstrate that the proposed framework significantly enhances emotional expressiveness and enables precise control of emotion rendering across multiple speech granularities.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01