アーカイブ / Audio / LLM
ポッドキャスト向け音声合成Muyan-TTS、話者への適応と生成速度を検証
Muyan-TTS
Muyan-TTSの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Framework of Muyan-TTS. Left is an LLM that models the parallel corpus of text (in blue) and audio (in green) tokens. Right is a SoVITS model that decodes the generated audio tokens, as well as phonemes and speaker embeddings, into the audio waveform.
概要
- 基本モデルは10万時間超の音声で学習し、参照音声とその発話文を使った音声合成に対応する。
- LibriSpeech test-cleanで基本モデルのWERは3.44％。話者別の追加学習後はSIMが0.37から0.46に上がり、WERは4.48％になった。
- 非ストリーミングで文分割と並列化を無効にした速度比較では、推論時間を生成音声の長さで割った比は0.33だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Muyan-TTSの仕組み
- 01対象文と参照音声
- 02音声トークン生成
- 03SoVITSで波形生成
- 04読み上げ音声
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
Muyan-TTSは、文章からポッドキャスト向けの読み上げ音声を作る音声合成モデルである。著者らは、既存の大規模言語モデルを使う音声合成には、学習コードや推論を速める仕組みが公開されていない例があり、用途に合わせた調整を妨げると述べる。
番組制作に使うなら、話者の声に近づけるだけでなく、読み間違い、音質、生成までの時間も確認したい。本研究は10万時間超の音声で学習した基本モデルと、個別話者の録音で追加学習したモデルを示し、それぞれの性能を測った。
手法
基本モデルの入力は、読み上げたい文に加え、参照音声とその発話文である。Llama-3.2-3Bが文に対応する音声トークンを生成し、SoVITSが音素情報と話者の特徴も使って音声波形へ変える。音声トークンは、音声の特徴を離散的な番号で表したものだ。例えば、番組の予告文と話者の録音を与え、その文を読む音声を得る。
学習時には録音を文字起こしし、同じ録音から音声トークンを抽出して対応付ける。収集音声は雑音などを減らし、単一話者の発話を選別した。話者別の追加学習では、数十分から数時間の録音と発話文の組を使う。このモデルの推論入力は対象文だけとなり、基本モデルと入力形式が異なる。
新規性
著者らが示す進歩は、GPT-SoVITSの音声トークン化とSoVITSによる波形生成を土台に、文字から音声トークンを作る部分へ事前学習済みのLlama-3.2-3Bを導入し、ポッドキャスト音声で学習した点にある。
基本モデルに加えて話者別の追加学習手順、データ処理手順、推論を速める仕組みを示し、コードとモデルを公開したと記している。費用を約5万ドルと表現する一方、費用表の合計は5万540ドルである。
従来手法との違い
構成上の出発点はGPT-SoVITSである。Muyan-TTSは、その音声トークン化とSoVITSを利用し、文字から音声トークンを生成する自己回帰モデルをLlama-3.2-3Bに置き換える。SoVITS側も、選別したポッドキャスト音声で追加学習する。
著者らはCosyVoice 2やStep-Audioなどとも比較した。ただし、モデルごとに学習音声量や波形の生成方式が異なる。評価表の差を、言語モデルの置き換えだけによる効果として扱うことはできない。
実験結果
著者らはLibriSpeechのtest-cleanとSEEDで、単語誤り率（WER）、参照音声との話者類似度（SIM）、NISQA v2による音質の自動推定値（MOS）を測った。LibriSpeechでは基本モデルのWERが3.44％、MOSが4.58、SIMが0.37で、CosyVoice 2のWERは2.91％だった。
同じLibriSpeechで、話者別の追加学習後はMOSが4.97、SIMが0.46、WERが4.48％だった。速度比較はLibriSpeechから抽出した共通の入力を使い、非ストリーミングで文分割と並列化を無効にした条件で行われた。著者らの報告では、推論時間を生成音声の長さで割った比は0.33だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：話者本人が利用を認めた既存のポッドキャスト録音から、次回予告の短い読み上げ案を作る。入力は予告文と対象話者の録音、録音に対応する書き起こしで、出力は編集者が試聴して採否を決める音声とする。
話者への適応を試す場合、学習用に同じ話者の数十分の録音と発話文の組を用意する。録音ファイルを使う想定で追加センサーは設けない。英語中心で一部に中国語を含む学習データから、制作する番組の言語や話し方へ適応できるかは別途確かめる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：利用を認めた話者の収録済み音声と対応する書き起こしを学習用に集め、評価用には別の短い予告文を複数用意する。まず基本モデルに参照音声、参照文、対象文を入れた出力を基準とし、次に数十分の対象話者の録音と発話文で適応させた出力と比べる。
追加センサーは使わず、録音ファイルを入力にする。両モデルに同じ評価文を与え、WER、話者類似度、生成に要した時間を測る。編集者の試聴では読み間違いと声質の揺れを記録し、末尾の句点の有無による変化も確認する。
限界と課題
著者らは、基本モデルの話者類似度が両評価データセットで最高ではないと報告している。話者別の追加学習後はLibriSpeechで音質の自動推定値と話者類似度が上がった一方、単語誤り率は悪化した。著者らは末尾の句点など、入力文の形式への感度も指摘する。
編集上の検証事項は、対象話者の録音でも声質が安定するか、長い台本で読み間違いが増えないかである。論文中のMOSはNISQAによる自動推定値であり、番組の聴取者にとって自然に聞こえるかは試聴で確かめる必要がある。
出典
元のタイトル・要旨を確認する（英語）
Muyan-TTS: A Trainable Text-to-Speech Model Optimized for Podcast Scenarios with a $50K Budget
Recent advancements in text-to-speech (TTS) models have been driven by the integration of large language models (LLMs), enhancing semantic comprehension and improving speech naturalness. However, existing LLM-based TTS models often lack open-source training code and efficient inference acceleration frameworks, limiting their accessibility and adaptability. Additionally, there is no publicly available TTS model specifically optimized for podcast scenarios, which are in high demand for voice interaction applications. To address these limitations, we introduce Muyan-TTS, an open-source trainable TTS model designed for podcast applications within a $50,000 budget. Our model is pre-trained on over 100,000 hours of podcast audio data, enabling zero-shot TTS synthesis with high-quality voice generation. Furthermore, Muyan-TTS supports speaker adaptation with dozens of minutes of target speech, making it highly customizable for individual voices. In addition to open-sourcing the model, we provide a comprehensive data collection and processing pipeline, a full training procedure, and an optimized inference framework that accelerates LLM-based TTS synthesis. Our code and models are available at https://github.com/MYZY-AI/Muyan-TTS.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01