アーカイブ / Audio
感情音声と中立音声の差を使い、声の感情と強さを調整するEmoKnob
EmoKnob
EmoKnobの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Fine-grained emotion control with EmoKnob . While existing TTS and voice cloning frameworks lack the option for users to control emotions in speech, our framework allows users to embed arbitrary emotion with a specified intensity in speech with few-shot samples. This framework allows us to propose two methods for controlling emotions based on open-ended text descriptions of emotions.
概要
- 同一話者の感情音声と中立音声から得た話者表現の差を、対象話者の表現に加えて音声を生成する。
- 六感情の評価で、感情に中立な文から指定感情が伝わると選ばれた割合は、制御なしとの比較で平均86％、ElevenLabsとの比較で平均89％と著者らは報告した。
- 感情の強さを上げると単語誤り率と話者類似度が悪化する傾向が報告されており、用途ごとの確認が要る。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、EmoKnobの仕組み
- 01感情・中立の音声組
- 02話者表現の差を平均
- 03対象話者の表現に加算
- 04指定文の音声
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
EmoKnobは、文章から作る音声に、指定した感情とその強さを加える手法である。同じ文章でも声の調子によって受け取り方が変わるため、文章だけで決まる読み方では伝え方を選びにくい。
従来の感情制御は「喜び」「怒り」など限られた分類に依存する場合がある。著者らは、細かな感情を追加するたびに大量のラベル付き音声や再学習を要する課題に対し、少数の実例を使う方法を検討した。
手法
EmoKnobはまず、同じ人の感情音声と中立音声を、事前学習済みモデルで話者表現に変える。話者表現とは、声の特徴を数値の並びにしたものだ。組ごとに二つの表現の差を取り、長さをそろえて感情の方向とする。複数組を使う場合は、その方向を平均する。
次に、対象話者の参照音声から得た話者表現へ、指定した強さに応じて感情方向を加え、読み上げ文とともに音声生成器へ渡す。例えば「感謝」の方向と台本を与え、対象話者の声による読み上げを得る。自由文で感情を指定する場合は、感情に合う文から音声例を合成する経路と、書き起こし付き音声から例を検索する経路がある。
新規性
著者らの主張する進歩は、事前学習済み音声クローンモデルの話者表現を直接操作し、感情ごとの追加学習なしに、少数の音声例から感情と強さを制御する点にある。感情方向を対象話者の表現に加えるため、読み上げる文章と参照話者を別に指定できる。
さらに、自由な感情説明を音声例につなぐ方法を二つ示した。感情に合う文から音声例を合成する方法と、書き起こし付き音声から例を検索する方法である。
従来手法との違い
比較の基準は、感情制御を加えない基礎モデルMetaVoice-1Bと、商用音声合成サービスElevenLabsである。前者とは単語誤り率と話者類似度を比べ、後者とは指定した感情がどちらの音声から伝わるかを参加者に二択で尋ねた。
先行研究について著者らは、少数の感情分類に制御を限る方法や、専用のスタイル抽出器を学習する方法を挙げる。EmoKnobは既存モデルの話者表現を使うが、商用サービスとの評価は本文に記載された感情と文章の条件に限られる。
実験結果
著者らはMetaVoice-1Bを使い、六つの基本的な感情ではMSP Podcastから同一話者の感情・中立音声を各一組用い、強さを0.4に固定した。23人への二択評価では、感情に中立な文で制御なしより指定感情が伝わると選ばれた割合は平均86％、ElevenLabsとの同条件の比較は平均89％だった。二択の偶然水準は50％である。
Common Voiceの100文では、六感情の平均単語誤り率は0.085±0.208、話者類似度は0.705±0.077と報告された。制御なしは順に0.079±0.160、0.719±0.071だった。別の感情や例の取得方法まで、この数値を広げて解釈することはできない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内研修動画の同じ日本語台本で、落ち着いた説明と感謝を込めた説明の読み上げ候補を作る。入力は台本、使用を認められた対象話者の参照音声、同一話者による感情音声と中立音声の組と感情名で、出力は強さを変えた音声とする。
事前学習済みモデルに音声の組から得た感情方向を適用し、担当者が内容と聞こえ方を確認する。追加のセンサーや新たなモデル学習は想定しない。日本語で狙った感情が伝わるかは未検証の応用仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：使用を認められた対象話者の参照音声と、同一話者の感情・中立音声の組を用意し、感情名を各組に記録する。事前学習済みの基礎モデルで方向を作り、日本語台本から制御なしと強さを変えた音声を生成する。本文には追加センサーの条件は示されていないため、試作では録音条件も記録する。
聞き手の二択で感情の伝わり方を比べ、単語誤り率と参照音声への話者類似度も測る。制御なしを基準に強さごとの変化を確認し、対象話者と台本に適した設定を判断する。日本語への適用には、この音声例と感情名の対応が有効かも確かめる。
限界と課題
著者らが明記した制約は、生成音声の自然さと表現力が基礎の音声クローンモデルに左右される点である。また、強さを上げると単語誤り率と話者類似度が悪化する傾向を報告し、声のなりすましのリスクにも言及している。
編集上の検証事項は、対象話者と日本語の台本で感情が意図どおり伝わるか、強さを変えても文の正確さと話者らしさが保たれるかである。利用権限と本人の同意も運用前に確認したい。これらの日本語用途での結果は本文からは判断できない。
出典
元のタイトル・要旨を確認する（英語）
EmoKnob: Enhance Voice Cloning with Fine-Grained Emotion Control
While recent advances in Text-to-Speech (TTS) technology produce natural and expressive speech, they lack the option for users to select emotion and control intensity. We propose EmoKnob, a framework that allows fine-grained emotion control in speech synthesis with few-shot demonstrative samples of arbitrary emotion. Our framework leverages the expressive speaker representation space made possible by recent advances in foundation voice cloning models. Based on the few-shot capability of our emotion control framework, we propose two methods to apply emotion control on emotions described by open-ended text, enabling an intuitive interface for controlling a diverse array of nuanced emotions. To facilitate a more systematic emotional speech synthesis field, we introduce a set of evaluation metrics designed to rigorously assess the faithfulness and recognizability of emotion control frameworks. Through objective and subjective evaluations, we show that our emotion control framework effectively embeds emotions into speech and surpasses emotion expressiveness of commercial TTS services.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01