アーカイブ / Audio
笑い声や咳の位置まで記した英語音声データで表現豊かな読み上げを学ぶ
NonverbalTTS
NonverbalTTSの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Human evaluation results comparing the nonverbal generation capabilities of CosyVoice (trained on the NVTTS dataset) and CosyVoice2 indicate that the NVTTS-trained model achieves performance comparable to CosyVoice2, the current state-of-the-art method.
概要
- 約17時間の英語音声に、10種類の非言語音声と8種類の感情分類を付けた。
- 自動検出後に人が修正し、複数人の注釈を多数決で統合して文字と音声を対応させる。
- 追加学習モデルとCosyVoice2の人手による選好には、著者らによれば統計的に有意な差がなかった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、NonverbalTTSの仕組み
- 01英語の音声記録
- 02発声と感情を検出
- 03人手修正と多数決
- 04タグ付き音声データ
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
文章から音声を作る音声合成では、単語だけでなく笑い声やため息をどこに入れるかも表現を左右する。しかし、こうした言葉以外の発声を文章内に記した公開データは限られ、位置を指定して学習・評価する材料が不足している。
著者らは既存の英語音声を調べ直し、非言語音声と感情を付けたデータを整えた。音声と文字の対応があれば、単に笑いを出せるかだけでなく、指定した場所で出せるかも確かめやすい。
手法
NonverbalTTSはVoxCelebとExpressoの英語音声から作る。自動音声認識で言葉を文字にし、笑い声や咳など、言葉以外の発声を検出する。音声と文字の時刻を合わせる処理で発声の位置を定め、感情分類器で8種類の候補を付ける。出力は、音声に対応した文章と発声・感情のタグである。
次に人が、英語以外や複数人が同時に話す例などを除き、言葉とタグを修正する。複数の注釈を位置合わせし、多数決で最終記録を決める。著者らはこのデータで音声合成モデルを追加学習し、文章内のタグに沿って非言語音声を出せるかも評価した。
新規性
NonverbalTTSは、英語の音声と文章の対応に加え、呼吸、笑い、咳など10種類の非言語音声と8種類の感情分類を付けた公開データセットである。非言語音声の位置を文章内に示し、どこで発するかを学べる形にした。
自動検出だけで確定せず、人が文字起こしとタグを直し、複数人の結果を多数決で統合する手順も提示した。著者らは、このデータによる追加学習が非言語音声を含む音声合成に役立つと検証している。
従来手法との違い
比較対象のCosyVoice2は、呼吸、笑い、咳、ため息を合成できるモデルとして用いられた。著者らはCosyVoice-300Mの言語モデル部分をNonverbalTTSで追加学習し、感情タグや非言語音声タグを外した設定も比較した。
自動評価では話者の似かたなどで追加学習側が良い一方、音質の指標DNSMOSはCosyVoice2が高いと報告する。笑い声の生成でもCosyVoice2が優れ、咳は同程度だった。総合的に一方が常に優れるという結果ではない。
実験結果
著者らが構築したデータは約17時間で、非言語音声10種類と感情8分類を含む。呼吸は3612件、笑いは1018件だが、うなり声の一種であるgruntは7件だった。音声合成の試験には359件を使い、語の誤り率、話者類似度、非言語音声の一致、音質、人による選好を調べた。
感情タグを外した追加学習モデルは、表の話者類似度が0.89、音質指標DNSMOSが3.82で、比較したCosyVoice2の対応する設定では0.75、3.93だった。人の選好はCosyVoice2が35.4％、追加学習側が33.4％で、著者らは統計的に有意な差はないと報告する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：英語の会話教材で、文章中の笑い声やため息の位置を指定した短い読み上げ音声を作る。入力は英文、非言語音声のタグ、話者の参照音声とし、出力はタグの位置に音声表現を含む教材用の試聴音声とする。
編集者が原稿と生成音声を聞き比べ、笑い声が台詞を遮らないか、タグの位置に合うかを確認して採用する。これはデータセットの用途を踏まえた応用案であり、教材の学習効果を論文が測定したものではない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：英語の短い原稿を選び、呼吸、笑い、咳、ため息のタグを入れた試聴音声を作る。タグを使わない同じ音声合成モデルを基準にし、同じ原稿と話者条件で生成して聞き比べる。
担当者がタグの位置、発声の種類、台詞の聞き取りやすさ、雑音を個別に採点する。呼吸や笑いの多い例と、咳やため息の少ない例を分けて集計し、データ中の出現回数の差が出力にどう影響するか確かめる。
限界と課題
著者らはデータ量が現代の大規模音声コーパスに比べて小さいと述べる。非言語音声は呼吸と笑いに多く偏り、うなり声などは少数である。感情の「その他」が多く、約8.5％の音声には注釈者の不一致で感情ラベルが付かなかった。
編集上の確認事項は、まれな音声表現を狙って出せるか、発話の聞き取りやすさを損なわないか、対象とする話者や録音環境で音質が保てるかである。試験用データの感情は中立と喜びに偏るため、他の感情への評価は別途必要になる。
出典
元のタイトル・要旨を確認する（英語）
NonverbalTTS: A Public English Corpus of Text-Aligned Nonverbal Vocalizations with Emotion Annotations for Text-to-Speech
Current expressive speech synthesis models are constrained by the limited availability of open-source datasets containing diverse nonverbal vocalizations (NVs). In this work, we introduce NonverbalTTS (NVTTS), a 17-hour open-access dataset annotated with 10 types of NVs (e.g., laughter, coughs) and 8 emotional categories. The dataset is derived from popular sources, VoxCeleb and Expresso, using automated detection followed by human validation. We propose a comprehensive pipeline that integrates automatic speech recognition (ASR), NV tagging, emotion classification, and a fusion algorithm to merge transcriptions from multiple annotators. Fine-tuning open-source text-to-speech (TTS) models on the NVTTS dataset achieves parity with closed-source systems such as CosyVoice2, as measured by both human evaluation and automatic metrics, including speaker similarity and NV fidelity. By releasing NVTTS and its accompanying annotation guidelines, we address a key bottleneck in expressive TTS research. The dataset is available at https://huggingface.co/datasets/deepvk/NonverbalTTS.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29