アーカイブ / Audio
FELLE：直前の音声特徴を起点に、粗い成分から細部を作る音声合成
FELLE
FELLEの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Overview of FELLE , an autoregressive mel-spectrograms model that generates personalized speech from text and acoustic prompts. At each timestep, the framework relies on the previous mel-spectrogram distribution as a prior, conditioned on the output of the language model, applying a coarse-to-fine flow-matching module to produce refined spectral features.
概要
- 文章と参照音声を条件に、連続値の音声特徴をフレームごとに生成する。
- 直前のフレームを生成の起点に使い、粗い成分から細部へ二段階で作る。
- LibriSpeechの表ではMELLEに対してSIM-oは両課題で高く、WER-Hも両課題で高かった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、FELLEの仕組み
- 01文章と参照音声
- 02言語モデルの条件
- 03粗い音声特徴
- 04細部の生成
- 05音声波形
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
FELLEは文章と話者の参照音声から発話を作る。音声を離散的な記号に変える方式では、数値化の過程で音の細部が失われ得るため、著者らは連続値の音声特徴を直接扱う方法を検討した。
連続値の特徴には多くの情報が含まれ、単純な予測では結果が平均化される恐れがある。隣り合う時刻のつながりも発話の自然さに関わる。著者らは、この二点を同時に扱うことを課題に設定している。
手法
文章と参照音声、すでに生成した音声特徴を言語モデルに入れ、次のフレームを作る条件を得る。各フレームはメルスペクトログラムという、音を周波数帯ごとの強さで表す数値列である。生成の起点には直前のフレームを中心とする分布を使い、最初のフレームだけは標準的な正規分布から始める。
フローマッチングは、起点の数値を目標の特徴へ少しずつ移す変化を学ぶ方法だ。FELLEはまず粗い成分を作り、その成分と言語モデルの出力を使って細部を生成する。停止判定まで繰り返し、最後に音声変換器が波形にする。例えば朗読の冒頭音声と原稿から、続きの発話を作る。
新規性
FELLEは、各音声フレームの生成開始時に、直前のフレームを中心とする分布を使う。時刻ごとの特徴を順に作る仕組みに、隣り合う音のつながりを明示的に加えた。
さらに、言語モデルの出力を条件として、粗い成分と細部を二段階で生成する。ただし、粗い成分をどの軸で作るかについて、確認できた本文には記述の食い違いがある。
従来手法との違い
比較対象のMELLEも、前に作った音声特徴を参照しながら、メルスペクトログラムを順に予測する。メルスペクトログラムとは、音を時刻ごとの周波数成分として表した数値である。
著者らによると、MELLEの平均絶対誤差や平均二乗誤差に基づく予測は、複雑な特徴を平均化し得る。FELLEは各フレームにフローマッチングを使い、直前のフレームを生成の起点にする。評価値だけで、個々の音質差の原因までは特定できない。
実験結果
著者らは約960時間、1,251話者のLibriSpeechで学習し、学習話者を含まないtest-cleanの4～10秒の音声で評価した。課題は発話の続きと別の文の合成である。WER-CとWER-Hは、それぞれ異なる音声認識器による語の誤り率、SIM-oは生成音声と元の参照音声の話者類似度を表す。
表ではMELLEとFELLEの順に、続きの合成のWER-Cはともに1.53％、WER-Hは2.22％と2.27％、SIM-oは0.480と0.513だった。別文ではWER-Cが2.21％と2.20％、WER-Hが2.80％と2.89％、SIM-oが0.591と0.619である。FELLEのWER-Hは両課題で高く、SIM-oも両課題で高い。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：英語の朗読原稿と、担当者の既存録音から選んだ参照音声を入力し、その人の声に近い朗読音声を試作する。出力は編集者が原稿との一致と聞き取りやすさを確認し、公開用に採用するか判断する。
学習には英語音声、対応する書き起こし、話者を識別できるデータが必要になる。運用時には原稿と参照音声を対応付け、対象の録音条件や話者に合うか検証する。既存録音を使う想定であり、新たな収録用センサーは置かない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：英語音声、対応する書き起こし、話者情報を学習用に用意する。評価用には原稿、本人の参照音声、正解となる録音を分けて保管する。既存録音を使う想定なら追加センサーは不要で、対象の話者や録音条件への適応方法は小規模試験で決める。
同じ原稿と参照音声を使い、FELLEと比較対象のMELLEで続きの合成と別文の合成を別々に試す。WER-C、WER-H、SIM-oに加え、担当者の聞き取り評価と生成時間を記録する。採用基準は試験前に定め、原稿の誤読と声の不一致を個別に確認する。
限界と課題
著者らが課題として挙げるのは、従来手法で複雑な音声特徴の分布や時間的なつながりを十分に扱えない点である。これはFELLE自身の失敗例を示したものではない。確認できた本文の範囲では、主観評価と処理時間の結果は確認できない。
編集上の検証事項は、長い朗読での途切れ、話者の似方、生成時間である。また、粗い成分について、フレーム内の特徴を縮小する説明と、偶数番目のフレームを残す実装説明が食い違う。再現や適応の前に、処理する軸を原著者の説明と照合したい。
出典
元のタイトル・要旨を確認する（英語）
FELLE: Autoregressive Speech Synthesis with Token-Wise Coarse-to-Fine Flow Matching
To advance continuous-valued token modeling and temporal-coherence enforcement, we propose FELLE, an autoregressive model that integrates language modeling with token-wise flow matching. By leveraging the autoregressive nature of language models and the generative efficacy of flow matching, FELLE effectively predicts continuous-valued tokens (mel-spectrograms). For each continuous-valued token, FELLE modifies the general prior distribution in flow matching by incorporating information from the previous step, improving coherence and stability. Furthermore, to enhance synthesis quality, FELLE introduces a coarse-to-fine flow-matching mechanism, generating continuous-valued tokens hierarchically, conditioned on the language model's output. Experimental results demonstrate the potential of incorporating flow-matching techniques in autoregressive mel-spectrogram modeling, leading to significant improvements in TTS generation quality, as shown in https://aka.ms/felle.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01