アーカイブ / Audio
音素の発音差から話者・感情まで編集する音声手法UniSAE
UniSAE
UniSAEの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: Overview of the proposed UniSAE framework, Content Transformer training and inference.
概要
- DPPGという記号列で、音素の種類、同じ音素内の発音差、長さを分けて編集する。
- 単語編集には記号列を予測するモデルを使い、音声生成時に話者と感情を別々に指定する。
- ESDEditの単語編集では、文字誤り率とUTMOSがVoiceCraft、SSR-Speechより低い成績だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、UniSAEの仕組み
- 01元音声・編集指定
- 02音素記号化
- 03内容列の修正
- 04声・感情で音響生成
- 05編集後音声
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
UniSAEは、録音の一部について、言葉の内容に加えて話者らしさや感情表現を編集する手法だ。従来の手法は単語の修正を主に扱い、話者や感情の変更は別の作業として扱うことが多かった。
一語だけ言い直したい録音でも、差し替えた部分が周囲の声や話し方から浮くと使いにくい。さらに音の種類、発音の細部、長さを指定して直すには、それぞれを区別できる音声の表現が要る。
手法
元音声をまず音素の確率的な表現に変え、似た特徴をまとめる処理でDPPGという離散的な記号列にする。音素は言葉を区別する音の単位で、各記号には音素の種類と発音差を持たせ、連続する同じ記号をまとめて長さも記録する。たとえば「nine」の先頭の/n/では、音素そのもの、発音の種類、長さを別々に変更できる。
単語の挿入・置換では、内容を扱うモデルが修正後の記号列を順に予測し、削除では対応する記号を取り除く。編集後の列と、参照音声から得た話者・感情それぞれの特徴を復号器に渡す。復号器は雑音を段階的に整えて音の特徴を生成し、最後に編集後の音声に変換する。
新規性
UniSAEは、音声の内容を音素の種類、同じ音素内の発音差、長さに分けて記号化し、それぞれを操作できるようにした。単語の挿入・置換には、編集後の記号列を予測する仕組みを使う。
さらに、内容の編集と音声の生成を分け、生成時に話者と感情を別々の特徴表現で指定する。著者らは、この構成で単語から音素より細かい単位までの編集と、複数属性の同時編集を扱えるとしている。
従来手法との違い
著者らの機能比較では、VoiceCraftとSSR-Speechは単語編集に対応するが、音素の明示的な制御はない。ZESTとEmoConv-Diffは話者・感情を編集する。UniSAEは、これらを一つの構成で扱う。
性能比較は作業別に行われた。ESDEditの単語編集では、UniSAEの文字誤り率、話者・感情の類似度、推定音声品質はいずれもVoiceCraftとSSR-Speechより低い成績だった。編集できる範囲の広さは、単語編集での性能優位を意味しない。
実験結果
著者らは、ESDの100発話から作ったESDEditで単語の挿入・削除・置換を評価した。平均文字誤り率はUniSAEが6.882、VoiceCraftが6.556、SSR-Speechが6.789で、低いほどよい。推定音声品質のUTMOSは同順に3.485、3.615、3.587だった。
ESDでの音素置換は8組、計160発話で評価され、目標音素の検出率は平均83.75％だった。/n/の発音差を示す記号を替えた20発話では、出力の55％が母音として認識されたと著者らは報告する。この数値は特定の置換事例の結果である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：英語の説明動画で言い間違えた一語を直し、必要ならその語の発音や長さも調整する。入力は台本付きの元録音、修正する区間と語、必要に応じて話者・感情の参照音声とし、出力を差し替え候補の音声にする。
検討には文字起こしと編集区間の指定が必要だ。話者・感情も指定する場合は参照音声と属性ラベルを用意する。センサー入力は録音音声とし、対象の英語音声で語と音素の対応付けを確認したうえで、担当者が前後のつながりを聴いて採否を決める。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：台本付きの英語録音から、単語の修正と発音・長さの調整例を少数選ぶ。元音声、修正語、編集区間を揃え、話者・感情も変える場合は属性ラベル付きの参照音声を用意する。原研究では文字情報を伴うLibriTTS-Rと、話者・感情を組み合わせたUniEditCorpusが学習に使われた。
センサー入力は録音音声とする。対象音声に合わせて文字から音素への変換と区間の対応付けを確認する。単語修正はVoiceCraftまたはSSR-Speechを比較基準に、同じ条件で文字誤り率とUTMOSを測り、人が編集箇所の自然さ、声、感情を確認する。
限界と課題
著者らは、ESDEditの単語編集で専用方式より成績が低く、ESDの学習時に見ていない話者でも性能が下がると報告した。音素内の発音差について示された数値は、/n/の記号を替えた20発話の事例に限られる。
編集上の検証事項は、別の言語や発音差への適用、話者と感情を同時に変えた際の聞こえ方、編集区間と周囲の自然な接続である。実務上は、意図しない語の変化や声・感情の変化も対象の録音で確かめる必要がある。
出典
元のタイトル・要旨を確認する（英語）
UniSAE: Unified Speech Attribute Editing on Speaker, Emotion and Low-Level Content via Discrete Phonetic Posteriorgram Modelling
Speech editing aims to modify specific portions of an utterance while preserving the remaining speech. Existing approaches primarily focus on word-level content modification and typically treat content, speaker, and emotion editing as separate tasks, limiting both editing granularity and flexibility. We propose UniSAE, a unified speech attribute editing framework which supports composable speaker, emotion and content editing from sub-phoneme to word level within a single architecture. UniSAE introduces a Discrete Phonetic PosteriorGram (DPPG) representation that factorizes speech content into discrete tokens encoding phoneme identity, pronunciation variants, and duration, enabling direct phoneme- and sub-phoneme-level editing. For higher-level modifications, an autoregressive content transformer predicts edited DPPG sequences for word-level content editing. The edited sequences are rendered into speech by a diffusion-based acoustic decoder, conditioned on disentangled speaker and emotion representations. Experimental results demonstrate that the proposed unified framework supports precise speaker and emotion control, content editing at multiple granularities, and joint modification of all three attributes within a single framework.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01