アーカイブ / Generative AI / Audio
中立の発話に感情の差分を加え、表情付きの顔映像を描くGaussianEmoTalker
GaussianEmoTalker
GaussianEmoTalkerの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1 : Given the audio, emotion category, and intensity, our method can real-time render high-fidelity, emotion-driven avatars with accurate lip-syncing for different emotions and intensities. It outperforms the current state-of-the-art methods in video quality (PSNR) and achieves real-time generation efficiency (FPS).
概要
- 人物別の中立発話モデルを作り、音声と指定した感情の種類・強さに応じて顔の描画要素を変形する。
- 著者はMEADを用い、人物ごとに独立した動画クリップを学習用と試験用へ9対1で分割した。
- 確認できた本文には比較表の数値や速度の測定条件がなく、改善幅は判断できない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、GaussianEmoTalkerの仕組み
- 01中立発話動画と音声
- 02中立の顔を構築
- 03感情の差分を推定
- 04表情付き映像を描画
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
GaussianEmoTalkerは、音声に合わせて口を動かし、指定した感情も表す人物の顔映像を生成する。著者が扱う課題は、口の同期と画質を保ちながら、感情の種類と強さを操作し、映像をリアルタイムに描くことだ。
案内役などに使う場合、口が言葉に合うだけでなく、表情が顔の各部に反映される必要がある。音声から中立の発話動作を作ってから感情を加える設計は、発話に伴う動きと感情に伴う動きを分けて扱うためのものだ。
手法
まず、対象人物の中立表情の発話動画からGaussianBlendshapesで顔の土台を作る。これは、表情に応じて変形できる三次元の描画要素「ガウシアン」を組み合わせる手法だ。学習済みの音声から表情への変換モデルは、音声と対象人物の基準となる中立画像から顔の形と顎・首の動きを表す値を予測し、発話に合う中立の顔形状とガウシアンの属性を得る。
次に、同じ音声に対する感情付きの顔形状を求め、中立の顔形状との差を計算する。この差に音声、感情の種類、強さを合わせ、注意機構と呼ぶ入力間の関係を選ぶ処理で、ガウシアンの向き・大きさ・色・不透明度の変更量を推定する。例えば音声に「喜び」と強度を指定すると、その変更を中立の顔に加えて映像として描く。学習時には、まばたきの指標と追跡したカメラ情報も使う。
新規性
著者の提案は、発話に伴う中立の顔の動きを先に作り、感情による変化を差分として加える二段階の構成にある。後段は顔全体を一から作らず、眉、頬、まぶた、口角などに関わる変形を扱う。
顔の形状差、音声、感情の種類と強さを注意機構で組み合わせ、描画に使う三次元ガウシアンの属性差分を推定する。感情の強度まで指定できる構成を、人物別の顔モデルに組み込んだ点が特徴だ。
従来手法との違い
感情ラベルだけを入力する先行手法について、著者は感情の強さを編集できないと説明する。GaussianEmoTalkerでは中立の発話動作を土台にし、種類と強さを指定した感情の変形を重ねる。拡散モデルを使うEMOdiffheadについては、生成効率を課題として挙げている。
近い手法のEmoTaGは、少量の映像で人物に適応する設定で、推論時にも補助的な姿勢・表情情報を使うと著者は述べる。本手法は人物ごとに作る単眼映像のモデルを対象とするため、両者の設定をそろえた性能差は、確認できた本文の範囲では示せない。
実験結果
著者は感情付き発話動画のMEADで学習・評価したと述べる。本文では8種類の感情と各3段階の強さを扱い、人物ごとの動画を512×512画素に整え、独立した動画クリップを学習用と試験用に9対1で分けたと記す。試験用は学習に使わないクリップである。
著者は画質、口の同期、感情の制御、リアルタイム描画について競争力があると主張し、図の説明では画質のPSNRと描画速度のFPSに言及する。ただし確認できた本文の範囲では、比較表の数値、速度の測定条件、口の同期や感情制御の指標は分からない。改善幅や他手法との差を数値で評価することはできない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：収録済みの案内音声から、仮想受付が話す短い映像を作り、場面ごとに感情の種類と強さを指定する。入力は音声、対象人物の中立表情の発話動画から作る顔モデル、感情の指定であり、出力はその人物の表情付き発話映像とする。
人物別のモデルを作るには中立動画に加え、学習対象となる感情別・強度別の発話動画とラベルを確保する必要がある。動画から顔形状、まばたき、カメラ情報を追跡する工程も見込む。追加センサーの要否は実装時に確かめ、まず短い台本で表情と口の動きを確認する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象人物の中立発話動画と音声、感情の種類・強さのラベルが付いた発話動画を用意する。顔形状、まばたき、カメラ情報を動画から追跡し、人物別のモデルを適応させる。追加センサーが必要かは実装条件として確認し、未使用の発話クリップを評価用に残す。
比較基準は、同じ人物と音声で作る中立表情の映像とする。発話音と口のずれ、指定した感情と強さの判別しやすさ、映像の揺れ、描画速度を同じ条件で記録する。強い表情や撮影角度を変えた動画も少数含め、受付映像として許容できるか人が確認する。
限界と課題
著者は、土台となるGaussianBlendshapesでは強い感情の動画への当てはめが難しいと説明する。また、使用したMEADは視点がほぼ固定されているため、本手法は頭全体の姿勢や目の向きを予測せず、人物ごとに追跡した基準値へ固定する。
編集上の検証事項は、撮影角度が変わる映像でも顔が保たれるか、未使用の発話で口と音声が合うか、強度を変えたときに表情が自然に変化するかである。確認できた本文の範囲では、これらの条件を広げた結果や、強い表情への対応を裏付ける数値は判断できない。
出典
元のタイトル・要旨を確認する（英語）
GaussianEmoTalker: Real-Time Emotional Talking Head Synthesis with Audio-Driven and Blendshape-Based 3D Gaussian Splatting
Audio-driven talking head synthesis has achieved impressive progress in lip synchronization and visual quality, yet generating expressive emotional avatars with controllable intensity remains challenging, especially under real-time constraints. In this paper, we present GaussianEmoTalker, an audio-driven framework for real-time emotional talking head synthesis based on 3D Gaussian Splatting. Instead of directly predicting the final emotional avatar from speech, we formulate emotional animation as a neutral-to-emotional residual deformation problem. GaussianEmoTalker first constructs an identity-specific neutral talking space with GaussianBlendshapes, which provides high-fidelity Gaussian attributes and phoneme-synchronized neutral motion. It then predicts an emotion-conditioned residual deformation by combining mesh displacement cues, audio features, emotion categories, and intensity encodings. To fuse these heterogeneous signals, we introduce a spatial-audio-emotion attention module that estimates the offsets of Gaussian attributes for expressive and temporally stable rendering. Extensive experiments demonstrate that GaussianEmoTalker achieves competitive video quality, accurate lip synchronization, controllable emotional expression, and real-time rendering compared with recent emotional talking head methods. Our project page is available at https://njust-yang.github.io/GaussianEmoTalker.github.io/
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01