アーカイブ / Audio
顔写真と文章から声を合成する、音声モデル固定型の手法
Freeze-Align F2S
概要
- 顔画像と文章から声を合成するため、顔側の特徴をStyleTTS 2の声の特徴へ対応付ける。
- 未見のLRS3話者24人で、Balanced設定の顔から声への検索Top-1は9.3％、偶然水準は4.17％だった。
- 顔の寄与は限定的で、大規模な聴取試験は報告されていない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Freeze-Align F2Sの仕組み
- 01顔画像と英文
- 02顔特徴を声質へ変換
- 03声質と抑揚を混合
- 04合成音声
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この手法は、静止した顔画像と文章から、その人物に合うと推定した声で発話を合成する。通常のゼロショット音声合成は、学習時に見ていない話者にも短い参照録音を使えるが、録音のない歴史上の人物や架空の人物には適用しにくい。
顔と声には一定の関係があるものの、顔から声を一意には決められない。異なる人物に似た声を割り当てることを抑えつつ、自然に聞こえる発話を作れるかが課題になる。
手法
学習時には、同じ話者の顔画像と録音を組にする。顔認識モデルが画像を数値表現に変え、Face Adapterという変換器が、StyleTTS 2の声の特徴を表す数値空間に写す。録音から得た特徴を目標とし、音声合成モデルを固定したまま、変換器と顔認識モデルの上位層を調整する。同じ話者の特徴を近づけ、異なる話者を区別するよう学習する。
合成時には、例えば顔写真と英文「Hello」を入力し、推定した声質で音声を出す。声質は声そのものの特徴、韻律は抑揚や発話の長さに関わる特徴を指す。静止画には韻律の時間情報がないため、文章に基づき音声モデルが生成する成分も使う。顔由来の声質と生成した声質を混ぜる割合を変えられ、参照録音がある場合は韻律にも利用できる。
新規性
著者らの提案は、学習済みのStyleTTS 2を英語の顔と声の対応付けでは固定し、顔側の変換器と顔認識モデルの上位層を調整する点にある。音声合成モデル全体の再学習を必要としない構成を示した。
学習では、同じ話者の顔と声を近づけるだけでなく、話者間の距離関係や表現のばらつきも考慮する。合成時には、顔から推定した声質と音声モデルが生成する声質の混合比を変えられる。
従来手法との違い
短い参照録音から声を複製する音声合成は、録音がない人物に適用できない。本手法は顔画像から声の特徴を推定する。また著者らは、顔と声の数値表現を単純に近づける学習では、生成される声が似通いやすいと説明する。
先行する顔からの音声合成には、音声モデル全体を調整する方式がある。先行研究がLRS3で報告した生成音声の話者類似度0.754、0.748に対し、本手法の英語での値は0.61～0.62。ただし著者らは学習方式と評価条件が異なるため、直接の優劣比較はできないとしている。
実験結果
著者らは、英語のTED講演動画を集めたLRS3から顔と音声が対応する14,170組を得て、学習時に見せていない24話者で評価した。Balanced設定では、顔から対応する実音声を探す検索のTop-1が9.3％、Top-5が35.1％で、偶然水準の4.17％、20.8％を上回った。
同設定の英語合成音声では、顔由来の声質の混合比を定めるαが0.5のとき、自然さを推定する自動指標UTMOSが3.72、元の録音は3.61だった。スペイン語では英語で学習した顔側の変換器を再学習せず使ったが、音声モデル側はスペイン語音声で追加学習した。大規模な聴取試験は報告されていない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：録音のないゲーム内人物について、顔の設定画と英語の台詞から仮の音声を作り、制作担当者が人物像との合い方を聴いて選ぶ。出力は台詞の音声候補であり、顔から実在の声を特定する用途ではない。
適応には、対象に近い顔画像と対応する録音、同じ人物を結ぶ話者ラベル、発話文が必要になる。年齢・性別の補助学習を使うなら、そのラベルも必要だ。設定画は論文の実写動画とは異なるため、顔側の変換器を適応した後も、この入力で声が安定するか確かめる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：少数の人物について、顔画像、対応する録音、話者ラベル、発話文を集め、画像と音声を取得する手段を用意する。年齢・性別の補助学習も再現する場合は、そのラベルを加える。人物が学習用と評価用にまたがらないよう分け、顔側の変換器を対象データに適応する。
比較基準は、顔を使わず同じ音声モデルで同じ文を合成した結果とする。正しい顔、別人の顔、顔なしの音声を聴き比べ、話者の聞き分けと自然さを記録する。顔由来の成分の混合比も変え、人物ごとの声の違いと品質を確認する。
限界と課題
著者らは、顔が生成音声の話者らしさに与える寄与は小さく、多くはStyleTTS 2側の傾向によると述べる。大規模な聴取試験はなく、スペイン語の品質を測る自動指標は英語寄りだという。モデル選択に使った未見データで品質も報告しており、結果に楽観的な偏りがあり得ると認める。
編集上の検証事項は、実写以外の設定画でも顔からの推定が安定するか、正しい顔と別人の顔で音声がどれだけ変わるかである。人物像との適合や聴き取りやすさは、自動指標の数値だけで判断せず、対象用途の聞き手で確認する必要がある。
出典
元のタイトル・要旨を確認する（英語）
Zero-Shot Face-to-Speech Synthesis via Latent Space Adaptation of a Style-Diffusion TTS Model
Zero-shot text-to-speech (TTS) clones a voice from a short audio prompt, but this reliance on reference audio is a barrier when only visual information is available, e.g. for historical figures or video-game characters. In this work, we propose a Face-to-Speech (F2S) framework that predicts a plausible voice from a static facial image. A lightweight Face Adapter, together with soft-tuning of the face encoder's upper blocks, aligns face-recognition features with the style space of a frozen StyleTTS 2 model, kept frozen during training. We evaluate on held-out identities from LRS3, a large-scale audiovisual corpus of English TED-talk videos. The synthesized speech is highly natural (UTMOS 3.7-4.0, matching or exceeding the 3.61 of ground truth), face-to-voice retrieval is consistently above chance, and the generated voice is consistent with the target speaker. Without any retraining, an English-trained adapter also produces fluent Spanish speech, indicating that the face-to-style mapping is largely language-agnostic.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01