アーカイブ / Audio / Generative AI
「ささやく」「鼻にかかる」声を指定する音声合成向けデータを拡張
ParaSpeechCaps
ParaSpeechCapsの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Randomly sampled examples from ParaSpeechCaps. Our style prompts cover rich tags describing complex styles like rhythm, clarity, emotion, etc. in contrast to erstwhile basic style prompts that only contain gender, pitch and speed levels. We highlight rich style tags with vibrant colors and basic style tags with a gray color.
概要
- ParaSpeechCapsは話者固有と発話ごとの特徴を含む59種類の音声スタイルタグを扱う。
- 著者らの音声合成評価では、基準モデルに対しスタイル一致度の平均評点が3.55から3.83、自然さが3.10から3.58になった。
- タグ判断の主観性、聞き取りやすさ、日本語など英語以外への適用は別途確認が必要である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、ParaSpeechCapsの仕組み
- 01音声と文字起こし
- 02声質・発話特徴を判定
- 03タグを説明文へ変換
- 04音声合成の学習例
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
文章から音声を作る際、読み上げ文だけでは声の印象を細かく指定しにくい。音声合成を「ささやく」「鼻にかかる声」のような説明で制御するには、音声と説明文が対応した学習データが必要になる。
複雑な声の特徴を人手で大量に記録するには手間がかかる。ParaSpeechCapsは既存の音声と文字起こしを利用し、豊かなスタイル説明をより多くの発話へ付ける方法を扱う。
手法
まず人が話者の声質にタグを付け、既存データから発話ごとの感情なども集める。新たな話者には、聞こえ方が近い話者から声質タグを移す。似た声を数値で探すための表現を「埋め込み」と呼び、ここでは話者間の知覚上の類似度に使う。
発話ごとのタグは、感情表現が強そうな音声を選び、文字起こしが狙う感情に合うかを調べ、最後に音そのものが合うかを音声モデルで確認する。タグを文章のスタイル指示へ変え、原稿、指示、音声を組にしてParler-TTSを追加学習する。
新規性
ParaSpeechCapsは、声質など話者に比較的固有の特徴と、ささやきや感情など発話ごとに変わる特徴を分け、計59種類のスタイルタグを扱う。著者らは、人手のラベルを手掛かりに大量の音声へ複雑なタグを付ける二つの手順を提案した。
話者固有の特徴は声の聞こえ方の類似度から、発話ごとの特徴は感情の強さ、発話文の意味、実際の音を順に確認して増やす。音声合成モデルの学習データとしても評価した。
従来手法との違い
従来の大規模データは音の高さ、速さ、音量など測りやすい基本的な指定に偏り、複雑な声質や場面ごとの表情を扱うデータは小規模だった。著者らは既存の複数の豊かなタグ付きデータを組み合わせた学習結果も比較対象にした。
ParaSpeechCapsで調整したモデルは、比較対象より指定したスタイルとの一致度と自然さの評価が高かった。一方、聞き取りやすさの指標まで同時に改善したとは報告されていない。
実験結果
著者らは59タグ、自然音声に自動で付けた2,427時間分のデータを報告する。人によるタグ確認では、自動拡張分の再現率が話者固有タグ50.3%、発話ごとのタグ71.3%で、人手分の48.7%、68.1%と比較された。
音声合成の評価では、最良の既存データ組み合わせを使った基準モデルに対し、指定スタイルとの一致度を示す5段階の平均評点が3.55から3.83、自然さが3.10から3.58になった。著者らはそれぞれ7.9%、15.5%の改善と報告する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：英語の研修動画で、同じ原稿を落ち着いた声と不安そうな声で読み分ける試作を想定する。入力は読み上げ文と声のスタイルを表す短い説明、出力は各説明に沿った音声ファイルとする。
制作者が内容を変えずに複数の声を生成し、聞き手が指示した印象を聞き取れるか、文章を正しく理解できるかを確認する。論文のデータは英語音声を中心に構成されており、日本語への適用結果は示されていない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：英語の短い原稿を少数選び、基本的な速さ・高さの指定を使う現行モデルを基準に、豊かなスタイル指定で作った音声と比べる。同じ原稿、同じ声の指定を使い、生成条件を記録する。
聞き手に指定した印象が伝わった割合、自然さの評点、文字起こしと原稿の不一致を測る。声質と発話ごとの感情を別々に試し、片方の指定がもう片方の聞き取りを妨げないか確認する。
限界と課題
著者らは、スタイルタグの判断には主観が入り、人手で付けたデータでもタグの再現率は100%にならないと述べる。自動拡張の発話ごとの特徴は、三段階の選別を一つ省くと人によるタグ確認率が下がった。
編集上の確認点は、目的の声質が聞き手に同じ意味で伝わるか、明瞭さや発音を損なわないかである。またデータ量について要旨の人手ラベル342時間と本文の282時間に差があり、利用前に対象範囲を確認したい。
出典
元のタイトル・要旨を確認する（英語）
Scaling Rich Style-Prompted Text-to-Speech Datasets
We introduce Paralinguistic Speech Captions (ParaSpeechCaps), a large-scale dataset that annotates speech utterances with rich style captions. While rich abstract tags (e.g. guttural, nasal, pained) have been explored in small-scale human-annotated datasets, existing large-scale datasets only cover basic tags (e.g. low-pitched, slow, loud). We combine off-the-shelf text and speech embedders, classifiers and an audio language model to automatically scale rich tag annotations for the first time. ParaSpeechCaps covers a total of 59 style tags, including both speaker-level intrinsic tags and utterance-level situational tags. It consists of 342 hours of human-labelled data (PSC-Base) and 2427 hours of automatically annotated data (PSC-Scaled). We finetune Parler-TTS, an open-source style-prompted TTS model, on ParaSpeechCaps, and achieve improved style consistency (+7.9% Consistency MOS) and speech quality (+15.5% Naturalness MOS) over the best performing baseline that combines existing rich style tag datasets. We ablate several of our dataset design choices to lay the foundation for future work in this space. Our dataset, models and code are released at https://github.com/ajd12342/paraspeechcaps .
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29