アーカイブ / Audio
基本周波数から作る倍音を手掛かりに、音声の振幅と位相を生成するESTVocoder
ESTVocoder
ESTVocoderの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2: Visualization of the amplitude spectrum of the excitation waveform and the speech waveform generated by ESTVocoder.
概要
- ESTVocoderはF0から倍音を含む励振を作り、その振幅・位相スペクトルをメルスペクトログラムに応じて音声用に変換する。
- LJSpeechの再合成実験で、著者らが報告したPESQは3.70、CPU上のRTFは0.0112だった。
- 文章からの音声合成ではMOSが3.87で、HiFi-GANやVocosとの自然さの差は有意ではなかった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、ESTVocoderの仕組み
- 01メル特徴と基本周波数
- 02倍音・雑音の励振
- 03振幅・位相を変換
- 04音声波形
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
ESTVocoderは、音声の特徴から再生可能な波形を作る音声生成モデルだ。文章の読み上げでは、文章から音声の特徴を予測する工程に続き、その特徴を実際に聞ける音へ変える工程を担う。
入力に使うメルスペクトログラムは、周波数ごとの音の強さを人の聴覚に合わせて圧縮した表現で、細部が失われ得る。波形を直接予測する方式には計算量の課題もあるため、著者らは声の高さを示す基本周波数を手掛かりに加えた。
手法
入力はメルスペクトログラムとF0（基本周波数、声の高さの基準）だ。F0から、有声音では基本周波数の整数倍に当たる倍音と雑音を含む励振を作り、無声音では雑音を使う。励振を短い時間ごとの周波数成分に分け、各成分の強さである振幅と、波の位置関係を示す位相を取り出す。
ConvNeXt v2を骨格とするニューラルネットが、メルスペクトログラムを条件に振幅と位相を音声用へ変換する。逆短時間フーリエ変換で、それらの成分から波形を組み立てる。文章の読み上げでは、別の音響モデルが文章からメルスペクトログラムを予測し、さらにそこからF0を予測する。学習時には、生成音と実音を見分ける判別器も使う。
新規性
著者らの提案は、基本周波数から作った励振を波形のまま加工せず、その振幅と位相のスペクトルを音声用に変換する構成にある。有声音の励振には、基本周波数の整数倍に当たる倍音を広く含める。
励振が持つ周波数構造を変換の出発点にし、メルスペクトログラムで調整する。著者らは、この手掛かりが学習の収束を早めると報告しているが、確認できた本文の範囲では効果の数値は示されていない。
従来手法との違い
HiFi-GANは音声波形を直接生成し、SiFi-GANは基本周波数に基づく励振波形を加工する。Vocosは振幅と位相のスペクトルを予測する。ESTVocoderは、倍音を含む励振のスペクトルから音声のスペクトルを予測する。
著者らは再合成実験で、この３方式を同じLJSpeechデータと学習環境で比較した。文章からの音声合成ではSiFi-GANを対象に含めていないため、その条件での優劣は判断できない。
実験結果
著者らは英語の女性１話者によるLJSpeechの13,100発話を16 kHzに変換し、10,480件を学習、1,310件ずつを検証とテストに用いた。元音声から特徴を抽出する再合成実験では、音質指標PESQはESTVocoderが3.70、HiFi-GANが3.48、Vocosが3.51だった。
同じ再合成実験のCPU上のRTF（生成時間を音声の長さで割った値）は順に0.0112、0.1496、0.0093だった。文章からの音声合成では、少なくとも30人の英語母語話者が自然さを５点満点で評価し、MOSは順に3.87、3.90、3.87。著者らはESTVocoderと各比較対象の差を有意とは認めていない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内手順書を読み上げる音声案内を試す。文章を入力し、音響モデルでメルスペクトログラムを予測する。そこから基本周波数を予測してESTVocoderへ渡し、再生用の音声波形を出力する流れだ。
対象話者への適応には、マイクで収録した音声と対応する文章を学習データとして用意する。音声からメルスペクトログラムと基本周波数を抽出し、有声・無声の区別も確認する。日本語案内での品質は、この用途に対する仮説として検証する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象話者の短い文章と対応する音声を、マイクで収録して学習データにする。文章と音声の対応を確認し、音声からメルスペクトログラム、F0、有声・無声の区別を抽出する。文章から特徴を予測する工程も対象の読み上げ内容に合わせて調整する。
同じ文章、音声、データ分割でESTVocoderとHiFi-GANを比較する。聞き手による自然さの評定、読み間違い、CPU上のRTFを測り、案内用途に必要な水準を満たすか確認する。F0予測が不安定な発話は分けて集計する。
限界と課題
著者らのLJSpeech実験では、文章からの音声合成における自然さの主観評価で、ESTVocoderとHiFi-GAN、Vocosとの差は有意ではなかった。再合成時のCPU生成時間と１エポック当たりの学習時間も、ESTVocoderはVocosより長かった。
編集上の検証事項は、英語の単一話者で得た結果が日本語や別の話者でも再現するか、基本周波数の予測誤差が聞き取りやすさにどう影響するかである。収束を早めるという著者らの報告については、確認できた本文の範囲では後続の分析結果を数値で確認できない。
出典
元のタイトル・要旨を確認する（英語）
ESTVocoder: An Excitation-Spectral-Transformed Neural Vocoder Conditioned on Mel Spectrogram
This paper proposes ESTVocoder, a novel excitation-spectral-transformed neural vocoder within the framework of source-filter theory. The ESTVocoder transforms the amplitude and phase spectra of the excitation into the corresponding speech amplitude and phase spectra using a neural filter whose backbone is ConvNeXt v2 blocks. Finally, the speech waveform is reconstructed through the inverse short-time Fourier transform (ISTFT). The excitation is constructed based on the F0: for voiced segments, it contains full harmonic information, while for unvoiced segments, it is represented by noise. The excitation provides the filter with prior knowledge of the amplitude and phase patterns, expecting to reduce the modeling difficulty compared to conventional neural vocoders. To ensure the fidelity of the synthesized speech, an adversarial training strategy is applied to ESTVocoder with multi-scale and multi-resolution discriminators. Analysis-synthesis and text-to-speech experiments both confirm that our proposed ESTVocoder outperforms or is comparable to other baseline neural vocoders, e.g., HiFi-GAN, SiFi-GAN, and Vocos, in terms of synthesized speech quality, with a reasonable model complexity and generation speed. Additional analysis experiments also demonstrate that the introduced excitation effectively accelerates the model's convergence process, thanks to the speech spectral prior information contained in the excitation.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01