アーカイブ / Audio
画像の人物と場面に合わせ、指定文の発話と環境音を生成するVividVoice
VividVoice
VividVoiceの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : The programmatic pipeline for constructing our Vivid-210K dataset.
概要
- VividVoiceは指定文と画像を入力し、人物の声質と場面の環境音に合わせた発話音声を生成する。
- 学習用のVivid-210Kは21万件超のサンプルと800人超の話者を含む。
- 著者らの未見話者を含むテストではVoiceLDMよりWERとFADが低く、CLAPcapは低かった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、VividVoiceの仕組み
- 01指定文と場面画像
- 02文字と画像を特徴化
- 03声質と環境音を照合
- 04発話波形を生成
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
VividVoiceは、指定した文章を、画像に写る人物の声質と場面の環境音に合わせて発話させる方法である。従来の音声合成は明瞭な発話を主に扱い、環境音を加える方法には参照音声や文章で場面を指定するものがあった。
映像に合う音声には、言葉の聞き取りやすさに加え、人物と声、背景と音の対応が求められる。著者らは、これらを一緒に学べる対応データの不足と、声質・環境音を分けて扱う難しさを課題に挙げる。
手法
指定文は、文字ごとの長さを予測し、音声の時間軸に合う表現へ変える。画像からは人物と背景を含む特徴を取り出す。D-MSVAは、学習で更新する情報の置き場「記憶領域」を、画像側の人物・環境と音側の声質・環境音に分け、人物の特徴から声質を、背景の特徴から環境音を選ぶ。例えば同じ案内役を別の場所に置いた画像では、声質を保ちつつ背景の音を変えることを狙う。
学習時には、対応する混合音声の特徴から得た選択結果と画像側の選択結果を近づける。同じ人物で環境が違う組、同じ環境で人物が違う組も用い、共通する側の特徴をそろえる。最後に拡散モデルが、雑音から段階的に音の内部表現を作り、音声波形へ変換する。
新規性
著者らは、指定文の発話と場面に合う環境音を画像から同時に生成する課題を設定し、そのためのVividVoiceを提案した。中核のD-MSVAは、人物から声質へ、背景から環境音へ対応付ける記憶領域を分けている。
学習には、同じ人物を異なる環境に置いた組と、異なる人物を同じ環境に置いた組も使う。片方の属性を変えても、もう片方の特徴が保たれるよう促す設計である。
従来手法との違い
主な比較対象のVoiceLDMは、文章による場面の指定を使って発話と環境音を生成する。VividVoiceは画像を場面の手掛かりとし、人物の声質と背景の音を分けて対応付ける。著者らは、既存の画像駆動モデルとは指定文と環境音を同時に生成する課題が異なるとして、定量比較から除いた。
構成要素の検証では、特徴を単純に結合する方式と、注意機構で融合する方式も比較した。これはVividVoice内部の融合方法を替えた実験で、VoiceLDMとの比較とは別である。
実験結果
著者らはVivid-210Kの16万件を学習に使い、残りを検証用とした。実映像由来のデータに含まれる未見の話者12人をテストに用いている。VoiceLDMとの比較で、語の誤り率WERは9.23％対7.15％、音の特徴分布の差を測るFADは4.74対3.98で、いずれもVividVoiceの値が低かった。
25人による5段階の聴取評価では、場面との一致度MOS-SCがVoiceLDMの2.56に対し4.30だった。一方、画像説明文と生成音の一致度CLAPcapは0.27に対し0.25で低い。内部の注意機構による融合との比較では、FADは4.74対3.98だった。いずれも著者らが報告した、この評価条件での値である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：案内役が映る施設の画像と決まった案内文から、その人物らしい声と場所に合う環境音を含む音声を作る。入力は台本と人物・施設が写る画像、出力は案内用の発話音声とし、担当者が台本の聞き取りやすさと音の適合を確認して採用する。
施設向けに調整するなら、人物IDと場面ラベル、対応する人物画像・発話音声・環境音の学習用データが要る。画像と音声を取得する手段を決め、実際に使う人物や場所に合わせた調整と聴取確認を行う案であり、効果は未検証である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：短い案内文と複数の人物・場所の画像を用意する。調整用には、人物IDと場面ラベル、画像に対応する発話音声と環境音のデータを集める。画像・音声の取得手段を決め、実際の案内場面に合わせてモデルを調整する。
同じ台本を使い、場所を文章で指定するVoiceLDM相当の方法を比較基準に置く。未見の人物と場所を含む試験でWER、FAD、聴取者による声質・場面の一致度を測る。人物だけ、場所だけを替えた組でも、固定した側の音が保たれるか確認する。
限界と課題
著者らは、画像の説明文に音を出さない視覚要素が含まれると、生成音と説明文の一致を測るCLAPcapが影響を受けると説明する。また、記憶領域の枠数が128を超えると、検証した範囲でFADが悪化したと報告している。
編集上の検証事項：人物や場所を替えたとき、固定した側の声質や環境音が保たれるかを確かめたい。報告値はVivid-210Kに基づく条件のもので、異なる撮影・録音条件や日本語の台本への適用結果は示されていない。
出典
元のタイトル・要旨を確認する（英語）
VividVoice: A Unified Framework for Scene-Aware Visually-Driven Speech Synthesis
We introduce and define a novel task-Scene-Aware Visually-Driven Speech Synthesis, aimed at addressing the limitations of existing speech generation models in creating immersive auditory experiences that align with the real physical world. To tackle the two core challenges of data scarcity and modality decoupling, we propose VividVoice, a unified generative framework. First, we constructed a large-scale, high-quality hybrid multimodal dataset, Vivid-210K, which, through an innovative programmatic pipeline, establishes a strong correlation between visual scenes, speaker identity, and audio for the first time. Second, we designed a core alignment module, D-MSVA, which leverages a decoupled memory bank architecture and a cross-modal hybrid supervision strategy to achieve fine-grained alignment from visual scenes to timbre and environmental acoustic features. Both subjective and objective experimental results provide strong evidence that VividVoice significantly outperforms existing baseline models in terms of audio fidelity, content clarity, and multimodal consistency. Our demo is available at https://chengyuann.github.io/VividVoice/.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01