アーカイブ / Audio
話者別モデルの重みの差から、参照音声なしで新しい声を作る
Model Editing-based Eigenvoice Synthesis
Model Editing-based Eigenvoice Synthesisの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : The process of generating the new speakers’ TTS model by the proposed method. \textcolor blackThe blue and red rectangles show the speaker parameter vectors and basis vectors of the speaker space. The white rectangle shows the elements of the randomly sampled speaker coefficient vector.
概要
- 共通の初期モデルを話者別に調整し、重みの差から新しい話者の声を作る。
- VCTKの10話者を基に生成した100話者を評価し、自然さ、単語誤り率、基底話者との類似度を報告した。
- 係数の第１成分と性別の対応が観察された。感情や話し方に対応する軸は今後の探索課題である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Model Editing-based Eigenvoice Synthesisの仕組み
- 01話者別の学習音声
- 02重みの差を集約
- 03基底と係数を作成
- 04新話者の音声
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、目標となる人の参照音声を使わず、学習に用いた話者とは異なる声を作る「話者生成」を扱う。動画の登場人物や朗読で声の候補を増やしたい場合、目標の声を録音して用意できるとは限らない。
声の候補を作るには、話者ごとの特徴を表し、そこから新しい特徴を選べる「話者空間」が要る。著者らは、音声合成モデルを話者別に調整したときの重みの変化を、この空間の材料にした。
手法
まず、同じ初期モデルを各話者の音声で個別に微調整し、更新後と更新前の重みの差を取る。実験では音声合成モデルのうち、話者に関係する分散適応部とデコーダーを更新した。差を話者ごとの数値列として並べ、標準化した後、特異値分解で共通する変化の方向を取り出す。この方向の組を、新しい重みを作るための基底とする。
次に、基底を組み合わせる係数を正規分布から抽出し、得られた差を初期モデルの重みに加える。正規分布は、中心付近の値が出やすい確率分布である。こうして作ったモデルに文章を入力して音声を合成する。例えば同じ短文を異なる係数で合成し、声の候補を聞き比べられる。
新規性
著者らは、話者ごとに調整した深層音声合成モデルの重みの差を使い、モデルの重みの中に低次元の話者空間を定義した。複数話者に共通する変化の方向を基底として取り出し、係数を選ぶことで新しい話者用の重みを作る。
専用の追加モジュールを使わずに声を生成できる点も特徴である。実験では係数の第１成分に、基底話者の性別と対応する傾向が見られた。
従来手法との違い
従来の固有声合成は、隠れマルコフモデルなどで用意した話者別の特徴から基底を作る。先行するモデル統合法は、主に２人の話者用モデルの重みを補間する。提案法は、共通モデルから複数話者へ調整した重みの差を分解して基底を得る。
実験の比較対象はx-vector方式である。x-vectorは音声から話者の特徴を数値化したもので、比較法はその特徴を分解して新しい話者の特徴を作る。両方式は話者空間を作る場所が異なる。
実験結果
著者らは英語音声のVCTKから男性５人、女性５人を基底話者に選んだ。生成した100人の話者について、VCTKのテスト文から選んだ10文の音声を作成した。自然さは40人が５段階で採点するMOS、聞き取りやすさは音声認識によるWER（単語誤り率）で評価した。
生成話者のMOSは提案法が3.81±0.16、x-vector方式が3.99±0.14、WERはそれぞれ2.20±0.06、2.51±0.06で、幅はいずれも95％信頼区間である。最も近い基底話者との類似度は提案法が0.82～0.97、比較法が0.78～0.97で、著者らは多様性が同程度と述べる。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：複数の架空人物が登場する朗読作品で、声の候補を試作する。必要な元データは、共通モデルの学習と話者別の調整に使う音声と発話文である。話者を区別するラベル、文字起こし、収録用のマイクを用意する。機器の仕様は本文では指定されていない。
共通モデルを各話者の音声に適応させ、重みの差から得た係数を変えて、同じ台本を複数の声で合成する。出力は試聴用音声とし、制作担当者が自然さ、聞き取りやすさ、人物間の区別を確認する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象言語で話者を識別できる音声と文字起こしを集め、話者ラベルを付ける。音声を得る収録手段としてマイクが必要だが、機種条件は本文にない。共通モデルを用意して話者別に調整し、重みの差から声の候補を作る。
同じ評価文を、候補の声と既存の合成方式で音声化する。聞き手の自然さの採点、音声認識による単語誤り率、基底話者との類似度を記録し、候補同士を聞き分けられるかも確認する。対象言語へのモデルと音声データの適応は別途検証する。
限界と課題
著者らは今後の課題として、感情や話し方などの属性に対応する空間の探索を挙げる。第１成分と性別の対応は、今回の10人の基底話者で観察された結果であり、他の話者構成でも同じ軸が得られるとは示されていない。
編集上の検証事項として、対象言語の台本で自然に聞こえるか、作った声を基底話者や互いの声と区別できるかを確かめる必要がある。日本語への適用結果、必要な収録量、収録機器の条件は、確認できた本文の範囲では分からない。
出典
元のタイトル・要旨を確認する（英語）
Eigenvoice Synthesis based on Model Editing for Speaker Generation
Speaker generation task aims to create unseen speaker voice without reference speech. The key to the task is defining a speaker space that represents diverse speakers to determine the generated speaker trait. However, the effective way to define this speaker space remains unclear. Eigenvoice synthesis is one of the promising approaches in the traditional parametric synthesis framework, such as HMM-based methods, which define a low-dimensional speaker space using pre-stored speaker features. This study proposes a novel DNN-based eigenvoice synthesis method via model editing. Unlike prior methods, our method defines a speaker space in the DNN model parameter space. By directly sampling new DNN model parameters in this space, we can create diverse speaker voices. Experimental results showed the capability of our method to generate diverse speakers' speech. Moreover, we discovered a gender-dominant axis in the created speaker space, indicating the potential to control speaker attributes.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01