アーカイブ / Audio / Computer Vision
無音の発話動画から声を合成するDiVISe：聞き取りやすさと話者らしさを検証
DiVISe
DiVISeの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Comparison of the Mel-spectrograms of audios generated by HiFi-GAN (middle) and Unit-HiFiGAN (bottom). To highlight the active speaking regions that overlap the most with the ground truth speech (top), regions with smaller numerical differences from the ground truth are marked in red.
概要
- 無音の発話動画からメルスペクトログラムを予測し、聞ける音声波形へ変換する。推論時に別録りの話者音声は使わない。
- 著者らのLRS3・433時間条件での再実装比較では、SECSはReVISEの0.5384に対しDiVISeが0.6242、WERは36.03に対し35.68だった。
- 著者らのLRS3実験では、音声と映像による事前学習を外すとDiVISeのWERが35.68から93.98へ悪化した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、DiVISeの仕組み
- 01無音の発話動画
- 02映像特徴を抽出
- 03音声特徴を予測
- 04音声波形に変換
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
DiVISeは、音のない発話動画から声を合成する手法だ。唇の動きなど映像の手掛かりから、話した内容に加えて声色など話者らしさも再現しようとする。文字を読み取るだけの場合より、復元すべき情報が多い。
従来の一部手法は、同じ人の別の録音から話者情報を得る。しかし、対象者の録音を用意できない場合がある。動画だけで聞き取れる声を作り、話者の特徴をどこまで残せるかが利用上の焦点になる。
手法
DiVISeは動画の各フレームを、音声と映像で事前学習したAV-HuBERTで読み取り、特徴の時間刻みを音声側に合わせて細かくする。次にConformerという時間的な前後関係を捉える部品を通し、メルスペクトログラムを予測する。これは音の成分を時間と周波数に沿って表す特徴で、まだ聞ける音声ではない。
例えば無音の発話動画を入れると、予測した特徴をHiFi-GANという音声変換器が波形に変える。学習時は対応音声から作った正解の特徴との差を小さくする。変換器は音声データで事前学習し、動画側が予測した特徴にも合わせて調整する。推論時に別録りの話者音声は入力しない。
新規性
DiVISeは、発話動画からメルスペクトログラムを直接予測し、音声波形へ変換する。学習時も推論時も、別録り音声から作る話者埋め込みを入力しない。話者埋め込みとは、声の特徴を数値にまとめたものを指す。
著者らは、ReVISEで話者の特徴が失われる主因を、離散的な音響単位から波形を作る変換器にあると分析した。そこで、連続的な周波数の特徴を予測対象とする構成を採った。
従来手法との違い
ReVISEも音声と映像による事前学習を利用し、推論時に別録りの話者音声を要しない。ReVISEは離散的な音響単位を予測してUnit-HiFiGANで波形に変え、DiVISeはメルスペクトログラムを予測してHiFi-GANで波形に変える。
著者らのLRS3・433時間条件での再実装比較では、話者類似度のSECSはReVISEの0.5384に対しDiVISeは0.6242だった。両者には予測対象や構成の違いもあるため、この差を変換器だけの効果とは読めない。
実験結果
著者らは英語の発話動画LRS3とLRS2で、30時間および各データセットの全量である433時間、224時間の学習条件を調べた。LRS3・433時間で再実装したReVISEと比べると、DiVISeのSECSは0.5384から0.6242、単語誤り率WERは36.03から35.68となった。SECSは音声から推定した話者特徴の近さを示す。
同じ比較で、聞き取りやすさを測るESTOIは0.290から0.331、話者確認の等誤り率EERは41.17から28.66だった。EERはVoxCeleb2のテスト用データで計算された。LRS2・224時間のDiVISeのWERは36.24で、掲載表にある別手法の35.7より高い。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：騒音で音声を使えない、口元が見える発話動画から、内容確認を補助する音声候補を作る。入力は発話動画、出力は合成音声を元映像と並べた確認画面とし、担当者が聞き取れた箇所だけを採用する。実用時の精度向上を保証する案ではない。
対象場面に近い撮影条件の動画と対応音声の組、発話内容の文字起こし、話者ラベルを用意する。これらで予測部と音声変換器を調整し、映像と声の時間的なずれも確認する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象場面の動画と同時に記録した正解音声を組にして集め、文字起こしと話者ラベルを付ける。映像から発話が読み取れる撮影条件を確認し、動画と音声の時間的な対応を点検する。評価用の話者と撮影場面は調整用から分ける。
予測部と音声変換器を対象データに合わせて調整し、同じ条件で動かすReVISE型の方法を比較基準とする。WER、正解音声とのSECS、映像と合成音声の同期、担当者による聞き取りを測る。平均値に加え、口元が見えにくい例や話者ごとの失敗も記録する。
限界と課題
著者らは、映像だけから発話内容と話者の特徴を同時に復元する難しさを述べる。LRS3の事前学習を外す実験では、DiVISeの単語誤り率WERが35.68から93.98へ悪化し、事前学習への依存がうかがえる。
編集上の検証事項は、口元が隠れる映像、撮影条件や言語が異なる映像、録音のない話者でも結果が保たれるかである。また、本文にはLRS2で全手法よりWERが低いとの記述がある一方、掲載表では別手法の35.7がDiVISeの36.24を下回る。
出典
元のタイトル・要旨を確認する（英語）
DiVISe: Direct Visual-Input Speech Synthesis Preserving Speaker Characteristics And Intelligibility
Video-to-speech (V2S) synthesis, the task of generating speech directly from silent video input, is inherently more challenging than other speech synthesis tasks due to the need to accurately reconstruct both speech content and speaker characteristics from visual cues alone. Recently, audio-visual pre-training has eliminated the need for additional acoustic hints in V2S, which previous methods often relied on to ensure training convergence. However, even with pre-training, existing methods continue to face challenges in achieving a balance between acoustic intelligibility and the preservation of speaker-specific characteristics. We analyzed this limitation and were motivated to introduce DiVISe (Direct Visual-Input Speech Synthesis), an end-to-end V2S model that predicts Mel-spectrograms directly from video frames alone. Despite not taking any acoustic hints, DiVISe effectively preserves speaker characteristics in the generated audio, and achieves superior performance on both objective and subjective metrics across the LRS2 and LRS3 datasets. Our results demonstrate that DiVISe not only outperforms existing V2S models in acoustic intelligibility but also scales more effectively with increased data and model parameters. Code and weights can be found at https://github.com/PussyCat0700/DiVISe.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01