アーカイブ / Audio / LLM
対話の内部情報を音声生成に渡すJoyTTS：声の類似度と発話内容を検証
JoyTTS
JoyTTSの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : The framework of our LLM-based Spoken Chatbot model JoyTTS with voice cloning.
概要
- JoyTTSは対話部の応答文と内部特徴を音声生成部に渡し、手本の声に寄せた回答音声を作る。
- SEED test-zhの表ではJoyTTSのSSは0.73、WERは5.09。cosyvoice2の0.748、1.45を両指標で下回った。
- 導入前には対象業務の質問で、回答の正確さ、発話内容、声の類似度、待ち時間を別々に測る必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、JoyTTSの仕組み
- 01質問文・質問音声
- 02応答文と内部特徴
- 03音声トークン
- 04回答音声
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
JoyTTSは、質問への回答文を作り、手本の話者に似た声で読み上げる対話システムである。音声による案内では、回答の内容が正しいことに加え、発話を聞き取れて、声が安定していることが求められる。
著者らは、基になったMiniCPM-oの音声合成部には声の再現に限界があると述べる。そこで対話部と音声生成部の接続を見直し、話者への似方と発話内容の誤りを評価した。
手法
JoyTTSは入力の文と音声をトークンという処理用の小さな単位に変え、LLM（大規模言語モデル）の対話部へ渡す。対話部は応答文と内部特徴を作り、文の各部分に対応する特徴を音声生成部へ渡す。例えば設備の利用時間を尋ねる入力から回答文を作り、その文と内部特徴を一緒に音声生成へ使う流れだ。
音声生成部は音声トークンを作り、生成部がメルスペクトログラムという音の周波数成分の表現を経て音声にする。声の手本となる文と音声も前処理して使う。学習には、対話文を音声に変換したデータと手本の文・音声の組を用い、対話部と音声生成部を個別に学習した後、一緒に調整する。
新規性
JoyTTSの中心は、対話部が作った応答文だけでなく、文の各部分に対応する内部特徴も音声生成部へ渡す接続方法にある。著者らは、この情報が会話の文脈を音声生成部へ伝えると説明する。
さらに、MiniCPM-oの音声合成部をCosyVoice2に置き換え、両部を個別に学習してから結合して学習する。各変更の効果を個別に測った結果は、確認できた本文の範囲では示されていない。
従来手法との違い
著者らによると、基になったMiniCPM-oのGPT-SoVITS方式には、手本の声を再現する能力に限界があった。JoyTTSでは音声合成部をCosyVoice2に替え、対話部の内部特徴も音声生成に使う。
SEED test-zhの表では、話者類似度SSと単語誤り率WERが、gpt-sovitsで0.55と5.13、cosyvoice2で0.748と1.45、JoyTTSで0.73と5.09だった。この条件ではJoyTTSはgpt-sovitsを両指標で上回るが、cosyvoice2を下回る。
実験結果
著者らは、RedGPTとGeneratedChat0.4Mに由来する約40万件の複数往復の対話文を音声化し、計約2000時間の学習データを構成した。評価表のSEED test-zhでは、手本の話者との類似度を示すSSは高いほど、発話内容の単語誤り率WERは低いほど良い。JoyTTSの値はSSが0.73、WERが5.09だった。
著者らは単一のNVIDIA 4090Dで、工学的な最適化を加えずに遅延1.8秒とも報告する。評価データ名は概要と実験本文で「seed-tts-zh」、表で「SEED test-zh」と異なり、本文では類似度の略記も「SM」と「SS」で一致しない。評価件数と遅延の測定範囲は確認できた本文の範囲では不明である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の設備利用案内を、許諾を得た担当者の声で読み上げる窓口を試す。入力は利用者の質問文または質問音声と、担当者の手本となる文・音声の組。出力は案内文と回答音声とする。
試行には、対象業務の対話データ、文と音声が対応した学習用データ、話者の手本音声が必要になる。音声質問を扱う場合は収録手段も用意し、業務の用語と回答内容に合わせて調整する。効果は社内の質問で確かめる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：設備利用について、質問と確認済みの正答文を用意し、文だけで回答する運用を基準にする。音声化には、許諾を得た話者の手本音声と対応する文、対象業務の対話データ、学習用の文・音声の対応情報をそろえ、業務用語に合わせて調整する。
音声質問を試す場合は収録手段も用意する。同じ質問を使い、回答文の正確さ、発話内容の誤り、手本話者との類似度、回答までの時間を記録する。文だけの基準運用と比べ、誤案内が増えないかを人が確認する。
限界と課題
著者らは、感情を制御する入力の追加を将来の課題として挙げている。現行の構成で感情を指定できるという報告ではない。1.8秒の遅延値は、単一のNVIDIA 4090Dで工学的な最適化を加えない条件で報告された。
編集上の検証事項は、評価件数、指標の計算手順、遅延が測る開始点と終了点である。確認できた本文の範囲ではこれらを読み取れず、質問の長さや話者が変わった場合の性能も判断できない。
出典
元のタイトル・要旨を確認する（英語）
JoyTTS: LLM-based Spoken Chatbot With Voice Cloning
JoyTTS is an end-to-end spoken chatbot that combines large language models (LLM) with text-to-speech (TTS) technology, featuring voice cloning capabilities. This project is built upon the open-source MiniCPM-o and CosyVoice2 models and trained on 2000 hours of conversational data. We have also provided the complete training code to facilitate further development and optimization by the community. On the testing machine seed-tts-zh, it achieves a SS (speaker similarity) score of 0.73 and a WER (Word Error Rate) of 5.09. The code and models, along with training and inference scripts, are available at https://github.com/jdh-algo/JoyTTS.git.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01