アーカイブ / Audio
感情付き音声から学んだ話し方を、別の話者の声に適用する音声合成
FastSpeech 2 with Emotion and Speaker Embeddings
FastSpeech 2 with Emotion and Speaker Embeddingsの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: The architecture for sub-task 1
概要
- FastSpeech 2に感情情報を加え、感情付き録音がある話者の音声合成と、中立的な録音しかない別の話者への適応を検討した。
- 前処理後の学習音声は感情付き3.8時間、中立11.89時間。著者らは主催者発表の自然さ、音節誤り率、話者類似度を報告した。
- 元のFastSpeech 2などとの同条件比較や感情の識別結果は確認できない。実用時は聞き取りやすさ、感情、対象話者らしさを分けて検証する。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、FastSpeech 2 with Emotion and Speaker Embeddingsの仕組み
- 01音素列・感情と話者ID
- 02話者と感情の情報を結合
- 03韻律ボトルネック
- 04メルスペクトログラム
- 05音声波形
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、文章と指定した感情から音声を作る。文章を音声に変える音声合成では、言葉の聞き取りやすさに加え、指定どおりの話し方を出せるかが課題になる。
対象はVLSP 2022の感情音声合成課題である。感情付き録音がある話者の声を作る課題と、中立的な録音しかない別の話者へ感情表現を移す課題を扱う。後者では、話し方と対象話者の声質を両立できるかが焦点となる。
手法
文章を発音の単位である音素の列にし、FastSpeech 2を基にしたモデルへ入れる。単一話者の構成では、感情IDを固定長の数値列に変える「感情埋め込み」を加える。モデルが出すメルスペクトログラムは、音の周波数成分を時間に沿って表したものだ。最後にHiFi-GANがこれを音声波形へ変える。
別の話者への適応では、話者IDの数値列も加え、話者と感情の情報を韻律ボトルネックに通す。韻律とは抑揚や音の長さなどの話し方である。例えば、感情付き録音から学んだ表現を、中立的な録音しかない対象話者の文章読み上げに適用する。学習時には音声と文字起こしを点検し、音素の長さも抽出する。
新規性
著者らはFastSpeech 2に感情IDを表す数値列を加え、感情付き録音がある単一話者の音声を合成する構成を示した。さらに、中立的な録音しかない対象話者へ話し方を移す構成も検討した。
後者では話者と感情の情報を組み合わせ、韻律ボトルネックを通す。この部品は先行研究を参考にしており、著者らが新たに考案したものではない。
従来手法との違い
基点となるFastSpeech 2は、音素列から音声の特徴を生成するモデルである。著者らの単一話者向け構成は感情埋め込みを加え、話者適応向け構成は話者埋め込みと韻律ボトルネックも組み込む。
話者間で話し方を移すための韻律ボトルネックには、著者らが参考にした先行研究がある。確認できた本文の範囲では、元のFastSpeech 2やその先行方式と同じ条件で比較した性能差は示されていない。
実験結果
著者らは主催者提供のVLSP-EMOとVLSP-NEUだけを使用したと記す。前処理後の音声はそれぞれ3.8時間、11.89時間。単一話者の構成は前者のみ、話者適応の構成は両者を合わせて学習し、いずれも4万ステップ、バッチサイズ16だった。
主催者発表の結果として著者らが報告した自然さのMOSは、単一話者で2.719／5、話者適応で1.622／5。SUSという明瞭性試験の音節誤り率は順に72.40％、64.80％で、話者適応の話者類似度は1.543／4だった。確認できた本文の範囲では、評価用データの内訳、比較方式との差、感情の識別結果は分からない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：案内文を担当者の声で読み上げ、通常の案内と注意喚起で感情指定を変える試作を考える。入力は案内文、感情ID、担当者を示すID、出力は再生用の音声とする。
学習元には感情付き録音と対応する文章、感情ラベルが要る。別の担当者に適応する場合は、その人の中立的な録音と文章、話者ラベルを加える。新たに収録するならマイクを使い、録音と文字起こしを点検してから適応を試す。効果は未検証の応用仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：まず感情付き録音、対応する文章、感情ラベル、話者ラベルをそろえる。新規収録にはマイクを使い、雑音と文字起こしの誤りを点検する。単一話者の構成で同じ案内文を感情IDごとに生成する。
次に対象話者の中立的な録音と文章を加え、話者適応の構成を試す。比較基準として感情指定なしのFastSpeech 2相当の音声も用意し、同じ文章と評価条件で自然さ、音節誤り率、感情の伝わり方を測る。適応後は対象話者らしさも別に評価する。
限界と課題
著者らは、感情付きデータに雑音、背景音楽、別人の声、録音条件による声の違いがあり、文字起こしにも誤りがあったと報告する。雑音を減らし、文字起こしを修正して、聞き取れない音声を除外している。
編集上の検証事項は、指定した感情が伝わるか、対象話者らしい声か、言葉を聞き取れるかを分けて調べることだ。話者類似度の点数だけで声質維持を結論づけず、データの選別や修正が結果に与える影響も確認したい。
出典
元のタイトル・要旨を確認する（英語）
An Empirical Study on Learning Latent Representations for Emotional Speech Synthesis
For the last couple of years, the field of speech synthesis has improved dramatically thanks to deep learning. There are more and more deep learning-based TTS systems developed to make it possible to produce voices with high intelligibility and naturalness. Meanwhile, controlling the expressiveness is yet a big deal, generating speech in different styles or manners has received a lot of attention from community recently. This paper aims to give our solutions to deal with the task emotional speech synthesis (ESS) at VLSP 2022 which allows to generate humanlike natural-sounding voice from a given input text with desired emotional expression. By integrating speaker embedding, prosody bottleneck into FastSpeech 2, our systems can promisingly generate emotional speech of a single speaker (Sub-task 1), transfer speaking styles from another speaker to the target speaker with neutral non-expressive data while retaining the target speaker's identity (Sub-task 2).
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01