アーカイブ / Computer Vision / Generative AI
文章で編集した顔アバターを、表情や視点が変わっても一貫して描く
GaussianAvatar-Editor
GaussianAvatar-Editorの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2 : The overview of our method. We follow a render-edit-aggregate optimization pipeline as in Instruct-NeRF2NeRF [ 9 ] . We introduce a Weighted Alpha Blending Equation (WABE) to overcome the motion occlusion problem and our novel loss functions to enhance the spatial-temporal consistency. Our edited avatars can generate high-quality and consistent 4D renderings and can be controlled by other actors.
概要
- 多視点の顔動画から作った動かせる顔アバターを、文章の指示で編集する。
- WABEで隠れた部位の誤更新を抑え、隣接時点の画像差を使う敵対的学習で時間方向の不一致に対応する。
- NeRSembleで新規視点と再演を評価。表1の新規視点CLIP-Sは提案法0.275、比較例0.236だが、CLIP-CではControl4Dがわずかに高い。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、GaussianAvatar-Editorの仕組み
- 01多視点顔動画と指示文
- 02顔アバター描画
- 03指示文で画像編集
- 04可視性と時間差で更新
- 05編集済み顔アバター
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
GaussianAvatar-Editorは、表情や頭部姿勢を変えて動かせる顔アバターを、文章の指示で編集する方法だ。ガウシアンとは、位置や広がり、色を持つ小さな三次元要素で、これらを重ねて顔を描く。
顔が動くと、唇が歯を、まぶたが眼球を一時的に隠す。見えている画像だけを手掛かりに更新すると、隠れた部位まで誤って変わりうる。視点や時点ごとに編集結果が違えば、動画では外見の不一致も生じる。
手法
まず多視点の顔動画からGaussianAvatarsで動かせる顔を構築する。これはFLAMEという表情・姿勢を扱う顔モデルにガウシアンを結び付ける方式だ。学習中に視点と時点を選んで顔画像を描き、InstructPix2Pixで文章の指示に沿った編集画像を作る。描画画像と編集画像の差を基に、顔アバターを繰り返し更新する。
WABEは、手前の要素に隠されるほど奥のガウシアンの重みを下げ、誤った更新を抑える。さらに、敵対的学習では、編集画像と描画画像に加え、隣接時点との差を判別器に見せる。判別器は二組を見分ける仕組みで、画像の差を小さくする損失とともに更新へ使う。編集後は表情、頭部姿勢、視点を指定して画像を描ける。
新規性
著者らの主な提案は、手前の部位による隠れ具合に応じて、描画に使う各ガウシアンの重みを変えるWABEである。唇への編集が、奥にある歯まで変えてしまう問題に対応する。
もう一つは、編集画像と描画画像に加え、隣接する時点との差も使う敵対的学習である。文章による画像編集の結果が時点ごとに食い違う影響を抑え、動かしたときの見た目を揃える狙いがある。
従来手法との違い
比較対象は、Instruct-NeRF2NeRFをGaussianAvatarsまたはINSTAに適用した構成と、動的な場面の編集手法Control4Dである。前二者は、文章で編集した画像を基にアバターを更新する方法を、そのまま適用した比較例に当たる。
提案法はGaussianAvatarsで作った顔に、WABEと時間方向の敵対的学習を加える。著者らによると、比較に用いたControl4Dの結果は編集後に再び動かせず、その動的編集部分は著者らが再実装した。比較結果を別の実装へそのまま当てはめることはできない。
実験結果
著者らはNeRSembleの8人を対象に、新規視点、本人の未見の表情・姿勢、別人の動きによる再演を評価した。データは各人16視点・11動画系列で、学習には10系列中9系列と16視点中15視点を使ったと記す。一方、本人の再演を説明する図の文言は「16の学習用視点」となっており、視点数の記述には食い違いがある。
表1で、新規視点のCLIP-Sは提案法0.275、GaussianAvatarsとInstruct-NeRF2NeRFの組合せ0.236、本人の再演では同順に0.081、0.044だった。CLIP-Sは編集方向と文章指示の対応を見る指標である。新規視点のCLIP-Cは提案法0.978、Control4Dが0.980で、著者らの手法が全指標で最高という結果ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：映像制作で、出演者の顔アバターに「耳の形を変える」など一つの文章指示を与え、異なる表情や視点のカットを作る。入力は本人の多視点顔動画、編集指示文、各カットの表情・頭部姿勢・視点の情報で、出力は編集済みアバターから描いた画像とする。
制作側は、まず元の顔アバターを構築して編集し、次に各カットの動きを指定する。多視点撮影と動きの情報を用意する必要があり、歯や眼球など隠れやすい部分の見た目は人が確認する。この用途での品質は未検証である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象者の多視点顔動画と編集指示文を用意し、GaussianAvatarsで元のアバターを作る。同じ元データと指示文で、提案法とInstruct-NeRF2NeRFを適用した比較例を作成する。表情・頭部姿勢・視点の入力を揃え、未使用の視点と動きで画像を出す。
CLIP-SとCLIP-Cを比較し、歯や眼球への意図しない変更と連続フレームの見た目も確認する。必要な教師データは多視点顔動画であり、手作業の正解ラベルやカメラ以外の追加センサーの要否は確認できた本文の範囲では明記されていない。現場の撮影条件に合わせた調整の要否も、この小規模な試行で確かめる。
限界と課題
著者らが明記した制約は、動きの基盤となるFLAME顔モデルが表現しない部位を動かせないことだ。例として舌が挙げられており、舌の動きが必要な場面には、そのままでは対応できない。
編集上の検証事項は、撮影条件や人物を変えた場合の再現性、指示文を変えた場合の顔の細部と時間方向の安定性である。表の数値は特定のデータと評価条件で得られたもので、すべての表情や制作条件で同じ品質を示す根拠にはならない。
出典
元のタイトル・要旨を確認する（英語）
GaussianAvatar-Editor: Photorealistic Animatable Gaussian Head Avatar Editor
We introduce GaussianAvatar-Editor, an innovative framework for text-driven editing of animatable Gaussian head avatars that can be fully controlled in expression, pose, and viewpoint. Unlike static 3D Gaussian editing, editing animatable 4D Gaussian avatars presents challenges related to motion occlusion and spatial-temporal inconsistency. To address these issues, we propose the Weighted Alpha Blending Equation (WABE). This function enhances the blending weight of visible Gaussians while suppressing the influence on non-visible Gaussians, effectively handling motion occlusion during editing. Furthermore, to improve editing quality and ensure 4D consistency, we incorporate conditional adversarial learning into the editing process. This strategy helps to refine the edited results and maintain consistency throughout the animation. By integrating these methods, our GaussianAvatar-Editor achieves photorealistic and consistent results in animatable 4D Gaussian editing. We conduct comprehensive experiments across various subjects to validate the effectiveness of our proposed techniques, which demonstrates the superiority of our approach over existing methods. More results and code are available at: [Project Link](https://xiangyueliu.github.io/GaussianAvatar-Editor/).
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01