アーカイブ / Audio / Generative AI
GaussianSpeech：音声から本人の3D頭部を動かし、歯や表情のしわを描く
GaussianSpeech
GaussianSpeechの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2 : Random frames selected for each participant (top) from the dataset and corresponding zoom-in for the mouth region (bottom). We captured a gender-balanced dataset of native speakers with different English accents and diverse facial geometry including different skin tones, beard and glasses to maximize diversity.
概要
- 本人の複数視点映像から3D頭部を構築し、音声から唇、表情、顔表面の動きを時系列で予測する。
- 著者らの被験者4の再構築実験では、GaussianAvatarsより少ない点数でPSNR、SSIM、LPIPSが良好だった。
- 発話中のしわは収録データに現れた人物で再現する設計であり、音声駆動の定量結果は確認できた本文の範囲では不明である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、GaussianSpeechの仕組み
- 01本人の多視点映像と音声
- 02頭部アバター構築
- 03音声から動きを推定
- 04多視点の頭部映像
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
GaussianSpeechは、話し声から本人に似た3D頭部のアニメーションを作る。遠隔で人物を立体的に表示する場合、正面だけでなく横から見ても見た目を保ち、口の動きを音声に合わせる必要がある。
発話では唇に加え、歯の見え方や肌のしわも変わる。著者らは、音声と対応する高画質な複数視点映像が既存データに不足していることを課題に挙げ、その学習に使う収録データも作成した。
手法
まず本人の複数視点映像から顔を3D追跡し、顔の形を表すFLAMEの網目状モデルに3D Gaussianを結び付ける。3D Gaussianとは、位置、広がり、色などを持つ小さな点状の表現である。点を間引きつつ歯の領域を細分化し、元映像との見た目やしわの差を小さくして、表情と視点で色が変わる本人用アバターを作る。
次に音声から唇としわに関わる特徴を取り、Transformerという時系列の関係を扱うモデルで表情と顔表面の動きを予測する。例えば別の文を話した本人の音声を入力すると、予測した各時点の顔の形でアバターを動かし、指定した視点の画像を描く。学習時は顔の動きの誤差と、再描画した画像の誤差を交互に使い、後者では主に色の表現を調整する。
新規性
著者らが主張する進歩は、本人用に構築した少数の3D Gaussianからなる頭部を、音声を条件とするTransformerの時系列予測で動かす構成にある。動きを一連の発話として扱い、細かな顔の変化も表現する。
アバター構築では、表情と視点に応じた色、しわを捉える学習目標、歯の領域の細分化を組み合わせる。音声から予測した動きで再描画し、色の表現を調整する工程も設けた。
従来手法との違い
正面動画を主に生成する既存手法は、横から見た画像に制約があると著者らは説明する。3D顔形状だけを動かす手法は視点を変えられる一方、肌や歯の見た目をモデル化しない。GaussianSpeechは本人の頭部を3Dの点と色で表し、複数視点から描画する。
アバター再構築の直接比較対象はGaussianAvatarsである。著者らは、そのまま学習すると速い発話などで画像がぼやけ、動的なしわも扱いにくいと報告した。提案法との数値比較は、確認できた本文の範囲では被験者4の再構築結果である。
実験結果
著者らは英語を母語とする6人を16視点、毎秒30フレーム、3208×2200画素で収録し、各人415系列を得た。学習画像は1604×1100画素に縮小した。正面以外の15視点で学習し、正面視点で評価した。アバター再構築には短い30系列、音声駆動には学習300系列、検証とテストに各50系列を用いた。
著者らの被験者4のアバター再構築結果は、提案法がPSNR 29.90、SSIM 0.9495、LPIPS 0.1104、点数32379。GaussianAvatarsは順に26.53、0.9087、0.1487、98083だった。前二指標は高いほど、LPIPSは低いほど画像が近い。音声駆動には唇の同期を測るLSE-Dも使うが、確認できた本文の範囲では結果の数値を確認できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：遠隔案内で、担当者本人の音声に合わせて動き、利用者が見る向きを変えられる3D頭部映像を試作する。入力は本人の案内音声、出力はその発話に同期した頭部アニメーションとする。案内の分かりやすさが改善するかは、この用途で検証する仮説である。
適応には、担当者の発話に対応する複数視点の顔映像と音声、顔の3D追跡結果が要る。学習用には口の頂点位置と表情の目標値を整え、映像からしわの特徴を抽出する。担当者ごとにアバターと音声から動きを予測するモデルを学習する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：協力者1人の発話を、対応する音声と複数視点の顔映像として収録し、顔の3D追跡結果を作る。口の頂点位置と表情の学習目標を整え、映像からしわの特徴を抽出する。本人用アバターと音声から動きを予測するモデルを学習し、評価用の発話は学習用と分ける。
アバター再構築はGaussianAvatarsを基準に、同じ評価画像でPSNR、SSIM、LPIPSと点の数を比べる。音声駆動ではLSE-Dによる同期、視点を変えたときの見た目、発話中のちらつきを確認する。日本語の案内に使うなら、日本語音声でも本人用に適応させて測り直す。
限界と課題
著者らが明記する制約は、収録中の発話でしわが現れなかった人物については、提案法もしわを生成しない点である。また、手法の入力条件として、本人の音声に対応した複数視点映像と顔の3D追跡結果が必要になる。
編集上の検証事項は、日本語の発話、収録時と異なる視点、長い発話で口元や表情が安定するかである。確認できた本文の範囲では、音声駆動アニメーションの比較数値と描画速度の測定条件を確認できない。実時間で使える範囲や他手法への優位性は、用途に合わせて確かめる必要がある。
出典
元のタイトル・要旨を確認する（英語）
GaussianSpeech: Audio-Driven Gaussian Avatars
We introduce GaussianSpeech, a novel approach that synthesizes high-fidelity animation sequences of photo-realistic, personalized 3D human head avatars from spoken audio. To capture the expressive, detailed nature of human heads, including skin furrowing and finer-scale facial movements, we propose to couple speech signal with 3D Gaussian splatting to create realistic, temporally coherent motion sequences. We propose a compact and efficient 3DGS-based avatar representation that generates expression-dependent color and leverages wrinkle- and perceptually-based losses to synthesize facial details, including wrinkles that occur with different expressions. To enable sequence modeling of 3D Gaussian splats with audio, we devise an audio-conditioned transformer model capable of extracting lip and expression features directly from audio input. Due to the absence of high-quality datasets of talking humans in correspondence with audio, we captured a new large-scale multi-view dataset of audio-visual sequences of talking humans with native English accents and diverse facial geometry. GaussianSpeech consistently achieves state-of-the-art performance with visually natural motion at real time rendering rates, while encompassing diverse facial expressions and styles.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01