アーカイブ / Audio / Generative AI
文章で話し方を指定する音声合成を、５つの課題で評価するCapSpeech
CapSpeech
CapSpeechの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
(a) CapSpeech-AR model
概要
- CapSpeechは、文章で話し方を指定する音声合成を、基本の読み上げ、アクセント、感情、対話エージェント、効果音付き発話の５課題で評価する基盤である。
- 事前学習データの比較によるCapTTS課題で、非自己回帰型のStyle-ACCは51.8％から62.1％、WERは9.5％から8.8％になったと著者らは報告する。
- 著者らは、対話エージェント向けの細かな話し方の一致と、効果音付き発話の聞き取りやすさを残る課題として挙げる。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、CapSpeechの仕組み
- 01発話文と話し方説明
- 02説明文で生成を制御
- 03音声を出力
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
CapSpeechは、読み上げる文章に加えて話し方を文章で指定する音声合成を、複数の課題で調べる評価基盤である。例えば、同じ案内文でも声質、感情、話す速さを変えて出力する。そのためには、音声、文字起こし、話し方の説明を対応付けた学習資料が必要になる。
著者らは、既存資料で記述する属性がそろわず、用途別の検討も限られていたと指摘する。実務で読み上げに使うなら、指定した印象に近いかに加え、言葉が正しく聞き取れるかを別々に確認する必要がある。
手法
CapSpeechは、発話文と自然な文章による話し方の説明を入力し、指定に沿う音声を合成する方式を５課題で評価する。基本のCapTTSに、アクセント、感情、対話エージェント、効果音付き発話の課題を加える。例えば「お待たせしました」に「落ち着いてゆっくり話す」を添え、その条件で音声を作る。効果音付き課題では、発話文内の記号で音の種類と、背景に重ねる区間または挿入位置を示す。
学習は、機械で説明文を付けた大量の音声による事前学習と、人手で注釈した資料による追加学習からなる。著者らは、音を順に生成する自己回帰型と、順次生成を前提としない非自己回帰型の２モデルを用意した。どちらも説明文を生成条件として取り込み、出力を話し方の一致、音質、聞き取りやすさで評価する。
新規性
CapSpeechの新しさは、話者の声質などの特徴と、感情や話速など発話ごとの表現を記した説明文を、５つの音声合成課題で扱う評価基盤にまとめた点にある。効果音の種類と位置を指定する課題も含む。
著者らは、事前学習用に機械で注釈した音声と説明文の組を1000万件超、用途別の追加学習用に人手で注釈した組を358,783件集めたと述べる。既存音声への説明文の追加に加え、対話エージェント用と効果音付き発話用の録音も用意した。
従来手法との違い
従来の音声資料は、声の高さや感情など、説明文に含める属性と対象課題が異なる。著者らは、この違いが資料をまたぐ比較や、効果音付き発話などへの展開を難しくしていたと説明する。
事前学習の比較では、CapSpeechの学習用データと、既存のParaSpeechCapsのPSC-Scaled区分を用いた。音声を順に生成する自己回帰型と、順次生成を前提としない非自己回帰型をそれぞれ評価している。表の差は、このデータの置き換えとCapTTS課題の条件に限って読む必要がある。
実験結果
著者らは５つの用途別課題で、属性判定の平均正解率Style-ACC、音質指標UTMOSv2、生成音声の自動文字起こしと入力文を比べる単語誤り率WERなどを測った。人による評価では母語話者15人を募集し、各例を３人が話し方の一致、自然さ、聞き取りやすさで採点した。
事前学習データをParaSpeechCapsのPSC-Scaled区分と比較したCapTTS課題では、非自己回帰型のStyle-ACCは51.8％から62.1％、WERは9.5％から8.8％になったと著者らは報告する。追加学習後の効果音付き課題では、同型モデルのWERは3.0％、人による聞き取りやすさの評点IMOSは3.33だった。数値はそれぞれ示された課題と条件での結果である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：顧客対応の確定済み案内文を、指定した話し方で読み上げる用途を試す。入力は案内文と「落ち着いて、ゆっくり話す」という説明文、出力は再生用の音声とする。応答内容の作成や内容確認は、読み上げとは別の工程に置く。
対象業務への適応には、案内文の録音、正確な文字起こし、話し方を記したラベルを対応付けた資料が必要になる。この案では効果音と外部センサーは使わない。対象の声と文体に合わせて調整し、指定の再現と言い間違いを確かめる。業務上の効果は、この論文の評価結果からは判断できない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：顧客対応の案内文を少数選び、対象業務の声で録音した音声、正確な文字起こし、「落ち着いた」「ゆっくり」などの話し方ラベルを一組ずつそろえる。録音とラベルの対応を確認してから、対象の声と文体への調整に使う。音声以外のセンサーと効果音は使わない。
比較対象は、同じ案内文を一定の話し方で読む既存の音声合成とする。両方式の出力について、文字起こしによる言い間違いと、担当者が判定する話し方の一致・聞き取りやすさを記録する。調整用の録音と評価文は分け、説明文を変えた場合の出力の変化も確かめる。
限界と課題
著者らは、対話エージェント用のAgentTTSでは細かな話し方との一致が難しく、効果音付きのCapTTS-SEでは聞き取りやすさに課題が残ると報告する。後者では単語誤り率が良好でも人の聞き取りやすさの評点は低く、著者らは効果音の品質が音声より低いことを示す結果と解釈している。
編集上の検証事項は、日本語の案内文や対象業務の声でも指定が安定するか、効果音を使う場合に聞き取りを妨げないかである。確認できた本文の範囲では、主要な学習用資料は英語音声に基づく。人の評価は母語話者15人を募集し、各例を３人が採点した条件であり、別の利用者層での確認も要る。
出典
元のタイトル・要旨を確認する（英語）
CapSpeech: Enabling Downstream Applications in Style-Captioned Text-to-Speech
Recent advancements in generative artificial intelligence have significantly transformed the field of style-captioned text-to-speech synthesis (CapTTS). However, adapting CapTTS to real-world applications remains challenging due to the lack of standardized, comprehensive datasets and limited research on downstream tasks built upon CapTTS. To address these gaps, we introduce CapSpeech, a new benchmark designed for a series of CapTTS-related tasks, including style-captioned text-to-speech synthesis with sound events (CapTTS-SE), accent-captioned TTS (AccCapTTS), emotion-captioned TTS (EmoCapTTS), and text-to-speech synthesis for chat agent (AgentTTS). CapSpeech comprises over 10 million machine-annotated audio-caption pairs and nearly 0.36 million human-annotated audio-caption pairs. In addition, we introduce two new datasets collected and recorded by a professional voice actor and experienced audio engineers, specifically for the AgentTTS and CapTTS-SE tasks. Alongside the datasets, we conduct comprehensive experiments using both autoregressive and non-autoregressive models on CapSpeech. Our results demonstrate high-fidelity and highly intelligible speech synthesis across a diverse range of speaking styles. To the best of our knowledge, CapSpeech is the largest available dataset offering comprehensive annotations for CapTTS-related tasks. The experiments and findings further provide valuable insights into the challenges of developing CapTTS systems.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01