アーカイブ / Generative AI / Computer Vision
元の人物の顔を保ち、別画像の表情と顔の向きを移す記述子学習
Semantic Facial Descriptors
Semantic Facial Descriptorsの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: Qualitative comparisons with SOTA methods on Cross-reenactment.
概要
- 元画像の人物情報と駆動画像の表情・顔向きを別々の記述子として抽出し、合成して顔画像を生成する。
- VoxCelebの別人間転写では、著者らはCSIM 0.503、FID 27.81、AED 0.035を報告した。
- HDTFの別人間転写ではDPEよりCSIMが高い一方、AEDはDPEの方が小さい。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Semantic Facial Descriptorsの仕組み
- 01元の顔と駆動顔
- 02人物と動きを抽出
- 03記述子を合成
- 04元の顔特徴を変形
- 05動かした顔画像
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この方法は、元画像の人物の顔つきを保ちながら、別画像の表情と顔の向きを移す。案内動画などで使う場合、動きが合っても別人に見える結果や、本人らしくても表情が合わない結果は確認作業を難しくする。
著者らは、3D顔モデルには実際の顔形状を表しきれない場合があり、画像から直接学ぶ方式にも人物と動きの情報を分けにくい課題があると説明する。両方の情報を扱うため、顔の特徴を分けて学習する。
手法
入力は人物を残す元画像と、表情・顔の向きを借りる駆動画像である。画像を読むエンコーダーが、人物用と動き用の基底ベクトルに掛ける係数を求める。基底ベクトルは顔の特徴を組み立てる材料で、学習中にグラム・シュミット法という計算で互いに直交するよう整える。
元画像の人物記述子と駆動画像の動き記述子を合成し、元画像から抽出した顔特徴を動かすためのフロー場を生成する。フロー場は画像内の各位置をどこへ移すかを示す情報である。学習時にはArcFaceによる人物の類似関係と、動き記述子から人物を当てにくくする学習も使う。たとえば正面の出演者画像と横を向いて笑う画像から、前者の人物が後者の動きを示す顔画像を作る。
新規性
著者らは、顔の特徴を人物情報と動きの情報に分け、それぞれを学習可能な直交基底で表す。直交基底とは、互いに重ならない向きのベクトル群で、画像ごとの係数を掛け合わせて特徴を作るための土台である。
人物側は顔認識モデルが示す類似関係に近づけ、動き側は駆動画像の人物を識別しにくくする。さらに生成画像から特徴を取り直し、元画像の人物情報と駆動画像の動きが残るよう学習する。
従来手法との違い
著者らによると、3D顔モデルを使う方式は表現できる顔形状に限りがあり、顔の目印点を使う方式では目印点に人物の特徴が残りうる。画像から直接動きを学ぶ方式には、人物と動きを分けた特徴を得にくいという課題がある。
提案法は人物と動きの記述子を別々に作ってから合成する。比較実験にはFOMM、PIRenderer、DaGAN、LIA、DPE、StyleHEATなどを用いているが、掲載表には提案法が最良ではない指標もある。
実験結果
著者らはVoxCelebの256画素モデルをVoxCelebとCelebVで、HDTFの512画素モデルをHDTFで評価した。学習用と評価用で人物は重複しない。指標は人物特徴のコサイン類似度CSIM、画像分布の差FID、構造類似度SSIM、平均表情距離AED、平均姿勢距離APDである。
著者らの表では、VoxCelebの別人間転写で提案法はCSIM 0.503、FID 27.81、AED 0.035、DPEは順に0.481、31.62、0.052だった。HDTFの別人間転写ではCSIMが提案法0.724、DPE 0.638だが、AEDは提案法0.269、DPE 0.243でDPEの方が小さい。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：出演者の了承を得た案内動画で、本人の顔画像に別の演技映像の表情と顔の向きを移し、確認用の動画を作る。入力は本人の顔画像と駆動役の顔が写る各フレーム、出力は本人の顔でその動きを示すフレーム列とする。
対象に合わせた学習を行うなら、利用可能な顔映像と人物ごとの識別ラベルを用意し、撮影条件や顔の大きさをそろえて調整する。追加センサーはこの案では想定せず、生成後は本人が顔つきと動きの妥当性を確認する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：利用可能な出演者の顔映像、人物ごとの識別ラベル、表情と顔向きが異なる駆動フレームを用意する。映像から同じ大きさの顔画像を作り、対象条件で学習・調整する。追加センサーは置かず、元の表情を使う出力を簡単な比較基準とする。
同じ入力の組み合わせで人物保持をCSIM、表情と姿勢の転写をAEDとAPDで比べる。正解画像を用意できる組み合わせではSSIMも測り、十分な枚数がある場合にFIDを確認する。数値と併せて顔の崩れ、駆動役の顔つきの混入、フレーム間のちらつきを記録する。
限界と課題
著者らは既存方式の課題を説明しているが、提案法自身の失敗条件を体系的には示していない。掲載結果からは、遮蔽、極端な顔の向き、照明変化、長い動画でのちらつきに対する性能を判断できない。
編集上の検証事項は、別人間の組み合わせでも駆動役の顔つきが出力に混ざらないか、フレーム間で顔が安定するかである。また著者らはモデルをゼロから学習すると述べる一方、学習時の人物情報の抽出と評価指標CSIMには学習済みArcFaceを使う。この依存関係を再現条件に含めたい。
出典
元のタイトル・要旨を確認する（英語）
Learning Semantic Facial Descriptors for Accurate Face Animation
Face animation is a challenging task. Existing model-based methods (utilizing 3DMMs or landmarks) often result in a model-like reconstruction effect, which doesn't effectively preserve identity. Conversely, model-free approaches face challenges in attaining a decoupled and semantically rich feature space, thereby making accurate motion transfer difficult to achieve. We introduce the semantic facial descriptors in learnable disentangled vector space to address the dilemma. The approach involves decoupling the facial space into identity and motion subspaces while endowing each of them with semantics by learning complete orthogonal basis vectors. We obtain basis vector coefficients by employing an encoder on the source and driving faces, leading to effective facial descriptors in the identity and motion subspaces. Ultimately, these descriptors can be recombined as latent codes to animate faces. Our approach successfully addresses the issue of model-based methods' limitations in high-fidelity identity and the challenges faced by model-free methods in accurate motion transfer. Extensive experiments are conducted on three challenging benchmarks (i.e. VoxCeleb, HDTF, CelebV). Comprehensive quantitative and qualitative results demonstrate that our model outperforms SOTA methods with superior identity preservation and motion transfer.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01