アーカイブ / Audio
台本と環境の説明から、発話と背景音を一体で作るImmersiveTTS
ImmersiveTTS
ImmersiveTTSの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Overview of ImmersiveTTS. A dual-stream MM-DiT backbone conditions the speech stream on content prompt-aligned linguistic features. At the same time, Flan-T5 token embeddings drive the environmental context stream, and CLAP embeddings modulate AdaLN for global conditioning. The model is trained with flow matching and domain-specific REPA objectives.
概要
- ImmersiveTTSは、台本と環境の説明文を入力し、発話と背景音を含む一つの音声を生成する。
- 著者らのAudioCapsテストでは、単語誤り率は8.06、発話の自然さの聴取評価SN-MOSは５点尺度で4.20だった。
- 拡張テストでは環境整合性の聴取評価がVoiceDiTをわずかに下回り、用途ごとの試聴が必要である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、ImmersiveTTSの仕組み
- 01台本と環境説明
- 02音声と環境の特徴化
- 03共同注意で結合
- 04音の特徴を生成
- 05波形へ復元
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
ImmersiveTTSは、指定した台本の発話と、文章で指定した環境の音を一体で生成する。発話と環境音は音の構造や時間的な変化が異なり、一つのモデルで扱う際には、言葉の正確さと場面に合う音の両立が課題になる。
一般の環境音生成モデルは発音や抑揚を細かく扱う設計ではなく、音声合成では環境音を別に処理することが多いと著者らは説明する。案内などに使うなら、台本が聞き取れ、背景の説明にも合っているかを確かめる必要がある。
手法
ImmersiveTTSは、発話する台本と環境を説明する文章を受け取る。例えば「こちらへお進みください」という台本から、発音の長さに沿った音声の特徴を作る。「静かなロビー」という環境説明からは、CLAPという音と文章の対応を学んだモデルで全体的な特徴を、T5系の文章モデルで細部の特徴を得る。
音声側と環境側の二つの流れは、共同注意機構で互いの情報を参照する。生成には、雑音から目的の音の特徴へ段階的に移す方法であるフローマッチングを使い、学習時には既存の音声・一般音モデルの特徴も参照する。最後に圧縮された音の特徴を復元し、発話と背景音を含む波形にする。
新規性
著者らが提案する中心的な工夫は、台本に時間を合わせた音声の特徴と、環境説明から得た特徴を別々の流れで処理し、共同注意機構で情報を交換させる構成である。共同注意機構とは、一方の特徴を処理するときに他方も参照する仕組みを指す。
学習時には、モデル内部の特徴を、音声向けのWavLMと一般音向けのATST-Frameが捉えた特徴に近づける。著者らは、発話内容と環境音の両方を扱うための分野別の特徴整合として、この方法を提案している。
従来手法との違い
比較対象は、環境を文章で指定する音声生成モデルのVoiceLDMとVoiceDiTである。著者らは３モデルを同じ学習データと学習ステップ数で一から学習し、生成時に条件を反映する強さを評価用データで調整した。
ImmersiveTTSは、台本に対応する特徴を音声側へ時間に沿って与え、環境説明の特徴と共同注意機構で結び付ける。AudioCapsテストでは掲載された生成モデル間で単語誤り率などが最良だった一方、拡張テストの環境整合性の聴取評価ではVoiceDiTがわずかに上回った。
実験結果
著者らはLibriTTSのtrain-clean-360の発話と、発話を除いたWavCapsの34万件の音を混ぜて学習した。AudioCapsテストで報告した単語誤り率（WER）はImmersiveTTSが8.06、VoiceDiTが11.68、VoiceLDMが16.45。発話の自然さを５点尺度で評価するSN-MOSは順に4.20、3.47、3.41だった。
Seed-TTS test-enとAudioCapsの音を混ぜた拡張テストでは、WERはImmersiveTTSが4.48で３モデル中最小だった。一方、環境整合性の聴取評価EC-MOSは3.32で、VoiceDiTの3.38を下回った。生成時の関数評価回数はImmersiveTTSが25回、両比較モデルが200回だが、これは実際の処理時間を示す値ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：施設の短い音声案内を、想定する場面の背景音と一緒に試作する。案内台本と「人の少ないロビー」のような環境説明を入力し、発話と背景音を含む音声を出力する。担当者が台本との一致、聞き取りやすさ、場面との整合を別々に確認する。
原手法に沿って学習や適応を行うには、文字起こし付きの発話録音と、説明文付きの発話を含まない環境音が要る。新たな録音には収音機器が必要だが、生成時に現場センサーを入力する構成は示されていない。日本語台本と施設固有の音への適応効果は仮説として検証する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：短い案内台本と環境説明を数場面分用意し、同じ入力で作った音声を比べる。比較基準には通常の読み上げ音声と背景音を組み合わせたものを置く。台本の文字起こしと人の採点を使い、単語誤り率、聞き取りやすさ、場面との整合を場面別に記録する。
再学習や施設への適応を試すなら、文字起こし付きの発話録音と、説明文付きの非発話音を収集し、混合した学習データを作る。収集には収音機器が要るが、生成時の入力は文章であり、現場センサーは前提にしない。日本語と施設音を加える前後で同じ評価を行い、改善の有無と必要な作業量を確かめる。
限界と課題
著者らは、特徴の整合を明示せずに学習すると、発話内容の誤りや音環境の不整合が生じると述べる。ただし、掲載された比較結果からは、すべての言語、長い台本、未知の施設音でも同じ傾向が続くとは判断できない。
編集上の検証事項は、日本語の固有名詞の読み、背景音による発話の聞き取りにくさ、複数の案内での話者の一貫性である。確認できた本文の範囲では、これらの条件に絞った結果は示されていない。施設音を使う場合も、必要な録音と説明文を用意して評価する必要がある。
出典
元のタイトル・要旨を確認する（英語）
ImmersiveTTS: Environment-Aware Text-to-Speech with Multimodal Diffusion Transformer and Domain-Specific Representation Alignment
Recent advancements in text-guided audio generation have yielded promising results in diverse domains, including sound effects, speech, and music. However, jointly generating speech with environmental audio remains challenging due to the inherent disparities in their acoustic patterns and temporal dynamics. We propose ImmersiveTTS, an environment-aware text-to-speech (TTS) model that generates natural speech seamlessly integrated within environmental contexts by explicitly modeling cross-modal interactions. Our model builds on a multimodal diffusion transformer and fuses transcript-aligned speech latent with text-conditioned environmental context via joint attention. To enhance semantic consistency, we introduce a domain-specific representation alignment objective tailored to environment-aware TTS, leveraging complementary self-supervised representations from speech and audio encoders. Experimental results show that ImmersiveTTS achieves higher naturalness, intelligibility, and audio fidelity than existing approaches across objective metrics and human listening tests.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01