アーカイブ / Audio
参照音声の声を基準に、感情や話す速さを指定して変える音声合成
SpeechEdit
SpeechEditの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Overview of the SpeechEdit framework. Instruction tokens, textual content, and acoustic prompts are unified into a single token sequence through an instruction-guided conditioning interface. The codec language model performs selective attribute editing through data-driven implicit disentanglement with delta pairs.
概要
- SpeechEditは参照音声を基準に、感情、声の高さ、強さ、速さなど、指定した属性の変更を目指す。
- LibriHeavyから作ったLibriEditを用い、属性が異なる発話を組にして学習する。
- 著者らの難しい感情編集課題では感情分類正解率92％だった一方、話者類似度は比較対象より低かった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、SpeechEditの仕組み
- 01参照音声・文章・指示
- 02条件列を構成
- 03音声記号を予測
- 04読み上げ音声
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
短い参照音声から新しい文章を読み上げる音声合成は、話者の声色に加え、参照音声の感情や話し方も模倣する。声を保ちながら速さだけを変えたい場合、参照音声のどの特徴を残し、どれを変更するかが課題になる。
これは同じ話者の音声を用途に応じて作る際に重要である。SpeechEditは、変更する属性を明示し、それ以外を参照音声から引き継ぐ方法を扱う。
手法
SpeechEditには参照音声とその書き起こし、新しく読ませる文章、属性の指示を渡す。例えば参照音声の声で別の文を読み、速さを「低い」に指定する。感情などを指定しない場合は、参照音声の特徴を引き継ぐ設計である。話者変更時には、目標話者の別の音声から取り出した声の特徴も入力する。
音声は「音声符号」という離散的な記号列で表す。モデルは記号の最初の層を時間順に予測し、残りの層で音の細部を補う。学習ではLibriHeavyから作ったLibriEditを使い、元の発話と目標の発話で異なる属性を指示にした組を与える。
新規性
SpeechEditは参照音声の特徴を基準に、指示した属性だけを変更する音声合成モデルである。感情、声の高さ、強さ、速さを指定でき、話者を変える場合は別の話者音声も使う。
著者らは属性ごとの専用分離機構を設けず、属性が異なる発話を組にした学習によって、指示と参照音声の役割を学ばせる。
従来手法との違い
通常のゼロショット音声合成は、学習時に見ていない話者の短い音声を手本に、その声だけでなく感情や話し方もまとめて模倣する。SpeechEditは同じ参照音声を基準に、新しい文章を読みながら指定属性の変更を目指す。
論文はゼロショット音声合成でVALL-Eなど、感情編集でStep-Audio-EditX、CosyVoice 2、IndexTTS 2などと比較する。課題と生成・選択条件が異なるため、各表の数値を全用途に共通する優劣とは読めない。
実験結果
著者らはLibriSpeech test-cleanのゼロショット音声合成で、生成音声の認識結果と正解文のずれを示す単語誤り率1.3％、音質の推定値DNSMOS 4.00を報告した。同表のVALL-E-A1はそれぞれ2.1％、4.00で、VALL-Eの値は別研究からの引用である。
未学習の4話者による100例の難しい感情編集課題では、80％の例で参照音声と目標感情が衝突した。著者らの報告では感情分類正解率はSpeechEditが92％、CosyVoice 2が79％、IndexTTS 2が73％で、話者類似度は順に0.33、0.40、0.39だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内案内を同じ担当者の声で読み上げ、案内文ごとに話す速さを指定する。入力は使用許可を得た参照音声と書き起こし、新しい案内文、速度の指示で、出力は読み上げ音声とする。新たなセンサーは想定しない。
まず既存モデルで試し、社内音声への追加学習が必要なら、元となる発話に話者情報と速度ラベルを付け、収録条件と指示語の対応を整える。この用途で速度と声の維持を両立できるかは未検証である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：使用許可を得た参照音声と書き起こし、案内文を少数用意する。同じ入力で速度指示ありと指示なしを生成し、指示なしを基準に、聞き手による速度の方向と同一話者らしさの判定、単語誤り率を比べる。
追加学習を試す場合は、元となる発話データに話者情報と速度ラベルを用意し、収録条件と指示語の対応を確認する。新たなセンサーは想定しない。感情や声の高さの結果を速度の効果として扱わず、この案内文と話者で評価する。
限界と課題
著者らは、容易な感情編集課題で感情分類正解率が高い出力ほど単語誤り率も上がる傾向を報告する。難しい課題ではSpeechEditの話者類似度が比較対象より低く、感情変更に伴う音の変化も類似度に影響し得ると説明している。
編集上の検証事項は、日本語や社内収録音声でも指示どおりに変わるか、指定していない声の特徴が保たれるかである。確認できた本文の範囲では、話者変更の主観評価の結果と日本語での性能は確認できない。
出典
元のタイトル・要旨を確認する（英語）
A Unified Neural Codec Language Model for Selective Editable Text to Speech Generation
Neural codec language models achieve impressive zero-shot Text-to-Speech (TTS) by fully imitating the acoustic characteristics of a short speech prompt, including timbre, prosody, and paralinguistic information. However, such holistic imitation limits their ability to isolate and control individual attributes. In this paper, we present a unified codec language model SpeechEdit that extends zero-shot TTS with a selective control mechanism. By default, SpeechEdit reproduces the complete acoustic profile inferred from the speech prompt, but it selectively overrides only the attributes specified by explicit control instructions. To enable controllable modeling, SpeechEdit is trained on our newly constructed LibriEdit dataset, which provides delta (difference-aware) training pairs derived from LibriHeavy. Experimental results show that our approach maintains naturalness and robustness while offering flexible and localized control over desired attributes. Audio samples are available at https://speech-editing.github.io/speech-editing/.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01