アーカイブ / Computer Vision / Generative AI
写真1枚から表情で動く頭部アバターを生成するSpiD――駆動推定と描画を一体化
SpiD (Split and Drive)
SpiD (Split and Drive)の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : SpiD produces high-fidelity avatar animation from a single image across diverse identities and expressions (left). Among all compared methods, SpiD achieves the strongest quality-speed trade-off, placing in the real-time high-fidelity quadrant with the complete driving pipeline included (right). SpiD* denotes our speed variant without neural refinement.
概要
- 顔写真1枚と各フレームの駆動画像から、元写真の人物が駆動画像の表情と姿勢で動く頭部アバターを生成する。
- 顔の動きの推定をモデルに組み込み、顔の見た目・頭部形状・口の内部を三つの描画系で分担する。
- 著者らのVFHQ評価では表中の10指標中7指標で首位。速度は駆動処理込みで比較したが、確認できた本文に実測値はない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、SpiD (Split and Drive)の仕組み
- 01元写真と駆動画像
- 02顔形状と動きの推定
- 03領域別ガウス描画
- 04アバター画像
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
SpiDは、人物の顔写真1枚を元に、別の画像に写る表情と顔の向きで動く頭部アバターを生成する。対話に使う場合は、顔の見た目に加え、駆動画像を受け取ってから描画するまでの時間が判断材料になる。
従来の一部手法は、顔の動きを外部で追跡してから三次元ガウス描画に渡す。これは色や透明度を持つ小さな三次元の要素を重ねて画像を作る方式だ。追跡時間を速度計測から外すと、処理全体の所要時間を読み取りにくい。
手法
元写真から本人の顔形状を一度推定して保存し、各駆動画像から頭の向き、表情、顎、目の動きなどを推定する。形状の土台にはFLAMEという、少数の値で顔の形と動きを表すモデルを使う。例えば元写真の人物に、駆動画像で見える開口と顔の向きを反映した画像を作る。
描画は、顔の細かな見た目、頭部の立体形状、口の内部を三つの系統で分担する。学習時には正解画像との見た目の差を描画処理から動きの推定器へ伝え、追跡済みのFLAMEパラメータも推定の目安に使う。通常版は描画後に画像を補正し、速度重視のSpiD*はその補正を省く。
新規性
著者らが主張する進歩は、各フレームの顔の動きを推定する機構をアバターモデルに組み込み、描画画像と正解画像の差を使って一体で学習する点にある。推論時に外部の顔追跡器を要しない構成とした。
さらに、顔の見た目、頭部の立体形状、口の内部を三つの描画系で分担する。口の内部は顔形状モデルの表面に含まれないため、専用の表現を設けている。
従来手法との違い
比較対象には、単一画像から三次元アバターを作るGAGAvatarやLAM、二次元の肖像を動かすLivePortraitなどがある。著者らは、一部の従来手法では外部の顔追跡器を使い、その処理時間が報告する推論速度に含まれないと指摘する。
SpiDは駆動推定を内部で行い、頭部も領域ごとに描画する。比較実験では各手法の公式の学習済みモデルと推論手順を使用したと記されているが、画質の順位は示されたVFHQの評価条件に限られる。
実験結果
著者らはVFHQとNeRSembleの同一動画から元画像と駆動画像の対を採って学習した。VFHQの異なる人物間の表情転写では、元画像の人物を100人選んでいる。著者らによると、表に示された10指標のうち、表情位置のAKD、姿勢のAPD、画像差のLPIPS、PSNR、SSIM、MS-SSIM、L1の7指標でSpiDが首位だった。
例として、小さいほど良いAKDはSpiDが7.05、LAMが7.25で、大きいほど良いPSNRはSpiDが14.50、SpiD*が13.73だった。著者らは単一のNVIDIA A100で駆動処理込みの速度を測り、比較手法中で最速と述べる。ただし、確認できた本文の範囲では速度の実測値と評価用動画の分割方法は確認できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：遠隔会議で、利用者の顔写真1枚とRGBカメラの映像から、表情と顔の向きが動くアバター映像を出力する。各カメラフレームを駆動画像として送り、元写真の人物をその動きに合わせて描画する。
対象環境で調整するなら、同一動画内の元画像と駆動画像の対に加え、学習用のFLAME追跡パラメータを用意する。会議室の照明や撮影角度に合わせた調整と評価が必要であり、会議で使える品質や遅延が得られるという実証結果ではない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象環境のRGBカメラ映像から、同一動画内の元画像と駆動フレームの対を用意し、学習用にFLAMEの追跡パラメータを付ける。照明や撮影角度に合わせて調整し、評価する人物と動画は調整用から分ける。
まず元写真と駆動フレームをそのまま描画する方式を基準に置き、同じ入力でSpiDとSpiD*を比べる。フレームごとの駆動処理を含む時間、元写真との人物の見た目、駆動画像との表情・姿勢の一致、口元の崩れを記録する。判定基準は試験前に定める。
限界と課題
確認できた本文の範囲では、SpiD自体の失敗条件は明示されていない。著者らが課題として述べる外部追跡器の遅延や、顔全体を一つの表現で扱う難しさは、主に従来手法についての指摘である。
編集上の検証事項として、横顔、急な表情変化、口元の遮蔽、撮影条件の変化で画質を調べたい。また、速度の優位は著者らの比較条件での主張であり、確認できた本文の範囲では具体的なフレーム時間や条件別の遅延を照合できない。
出典
元のタイトル・要旨を確認する（英語）
Split and Drive: Dual-Axis Disentanglement for Real-Time Gaussian Head Avatars
Creating photorealistic animatable head avatars from a single image remains a fundamental challenge in digital human synthesis. While recent 3D Gaussian Splatting methods have achieved promising results, they rely on external tracking pipelines whose latency is excluded from inference measurements. Furthermore, they adopt unified representations that entangle geometrically distinct facial regions, limiting both expressiveness and rendering fidelity. We propose SpiD (Split and Drive), a single-image Gaussian head avatar framework built on two disentanglement axes. The compute axis internalizes per-frame driving, eliminating external tracking dependency at inference. The feature axis decomposes the avatar into three specialized Gaussian branches, each modeling a geometrically distinct facial domain. Extensive experiments demonstrate consistently strong performance against state-of-the-art methods while achieving the fastest inference speed among all compared methods on a single GPU with the complete driving pipeline included.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01