アーカイブ / Computer Vision / Generative AI
頭部全体を表しながら顔の一部を編集する3D形状モデル「imHead」
imHead
imHeadの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2 : Overview of the proposed imHead architecture : Given a point in the observation space 𝒙 \bm{x} and an expression code 𝒛 e x p \bm{z}_{exp} the Expression Deformer network ℰ θ \mathcal{E}_{\theta} predicts a displacement field Δ 𝒙 \Delta\bm{x} to warp the observations to the canonical space 𝒙 c a n \bm{x}_{can} . To enable localized editing, DecNet 𝒯 θ \mathcal{T}_{\theta} decomposes the global identity latent 𝒛 i d \bm{z}_{id} into local embeddings { 𝒛 i d j } j = 0 K \{\bm{z}^{j}_{id}\}_{j=0}^{K} that correspond to distinct head regions. The local embeddings are used to condition a set of Local-Part 𝒢 θ \mathcal{G}_{\theta} networks that predict localized features 𝐟 j \mathbf{f}_{j} for each point in the canonical space. To facilitate modeling, a landmark regressor LandmarkNet 𝒦 θ \mathcal{K}_{\theta} predicts a set of head keypoints, providing a canonical frame of each local-part network. Finally, the local features are agrregated and fused by FusionNet ℱ θ \mathcal{F}_{\theta} which regresses the signed distance field of point 𝒙 \bm{x} .
概要
- 一つの人物コードから39の領域別表現を作り、顔の一部の編集に使う。
- 著者らは4,000人、約5万件のスキャンを用いた頭部データを整えた。
- MimicMeの中立表情再構成では、顔領域のChamfer距離はimHead-Fullが0.533、全データ学習のNPHMが0.598だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、imHeadの仕組み
- 01人物コード・表情・座標
- 02表情変形を戻す
- 03領域別特徴を作る
- 04特徴を統合し距離を出す
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
imHeadは、人物の頭部形状と表情を数値で表し、顔の一部を編集できる3Dモデルである。従来の線形3Dモーファブルモデルは、スキャン同士で網目の点を対応付ける必要があり、細かな凹凸や複雑な頭部形状を表しにくい。
アバター制作では、人物らしさを保ちながら鼻など一部の形を直したい。頭部全体を一つのモデルで扱い、指定した領域の変更を周辺に広げすぎずに反映できるかが、制作時の確認点になる。
手法
imHeadは人物コード、表情コード、調べたい3D座標から、その点と頭部表面との符号付き距離を出す。符号付き距離は、表面からの距離と点が内側か外側かを示す値である。学習用には、顔の部分スキャンを既存モデルで補完するなどして、4,000人の約5万件の頭部スキャンを整えた。
形状の計算では、表情による変形を基準となる顔の座標へ戻し、人物コードから39領域の表現を作る。各領域の特徴を座標に応じて統合し、距離を予測する。鼻の編集なら鼻に対応する中間表現を差し替え、頭部全体の形状を再計算する。
新規性
imHeadは、一つの小さな人物コードから、顔の領域ごとの中間表現を作る。人物コードは個人の形状を数値にまとめたもので、編集時には中間表現の一部を差し替える。著者らは、頭部全体の形状を扱いながら局所編集を可能にする構成として提案した。
また、領域ごとの特徴を統合してから、頭部表面までの距離を予測する。著者らは、領域ごとの距離を直接つなぐ際に生じ得る不連続を避け、滑らかな編集につなげる設計だと説明している。
従来手法との違い
従来の線形3Dモーファブルモデルは、スキャン間で網目の点を対応付け、形の違いを表す。本文では、この対応付けの負担と、細かな形状を表しにくい点が課題とされる。imHeadは空間中の点から表面までの距離を予測する方式を採る。
比較対象のNPHMは、領域別の情報に頭部全体の人物情報も組み合わせる。imHeadは一つの人物コードから領域別表現を作る。著者らの報告では、人物コードはimHeadが256次元、monoNPHMが2176次元である。
実験結果
著者らは、NPHMの23人とMimicMeの250人を含むテスト集合で、単一スキャンからの人物形状と表情の再構成を評価した。顔領域のChamfer距離（CD）は、再構成形状と元のスキャンの点群間のずれを測り、小さいほど良い。MimicMeの中立表情では、全データで学習したimHead-Fullが0.533、同じく全データで学習したNPHMが0.598だった。
多様な表情の再構成では、同じMimicMe集合でimHead-Fullが0.563、NPHMが0.656だった。著者らは表情の当てはめ時間をimHeadが40秒、NPHMが138秒と報告する。局所編集は変位図で比較しているが、編集品質の数値指標は確認できた本文の範囲では示されていない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：同意を得て制作するゲーム用頭部アバターで、鼻の形だけを調整する。入力は人物の3D頭部スキャンと編集する鼻の領域、出力は編集後の頭部形状とする。まずスキャンにモデルを当てはめ、鼻の中間表現を変えて形状を再計算し、制作者が周辺の変化を確認する。
独自データへの適応を検討するなら、複数人物の3Dスキャン、人物と表情の対応、顔の位置を示すランドマークが必要になる。取得に使うセンサーの仕様は本文からは決められない。既存モデルへの当てはめで足りるか、追加学習が要るかも検証する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：同意を得た少人数の3D頭部スキャンを用意し、人物と表情の対応、顔のランドマーク、表面形状を確認する。センサーの種類は本文に指定がないため、スキャンの取得条件を記録する。既存モデルを各スキャンに当てはめ、独自データで追加学習が必要かを判断する。
同じスキャンをimHeadと比較対象のNPHMに当てはめ、顔領域のChamfer距離と処理時間を測る。次に鼻の表現だけを変え、指定外の領域の変位を記録する。部位境界や輪郭の崩れも制作者が確認し、用途に合う許容範囲を決める。
限界と課題
本文で著者らが指摘するのは、従来モデルの形状表現や局所編集の制約であり、imHead自体の失敗条件ではない。局所編集についてはNPHMとの変位図による比較が示されるが、編集品質を表す数値指標は確認できた本文の範囲では示されていない。
編集上の検証事項は、顔の部分スキャンから頭部全体を補完した際の誤差と、鼻を編集したときの周辺領域の変化である。髪や耳を含む形状の崩れ、制作時間への影響も用途ごとに確かめたい。これらの条件別の失敗率は、確認できた本文の範囲では分からない。
出典
元のタイトル・要旨を確認する（英語）
ImHead: A Large-scale Implicit Morphable Model for Localized Head Modeling
Over the last years, 3D morphable models (3DMMs) have emerged as a state-of-the-art methodology for modeling and generating expressive 3D avatars. However, given their reliance on a strict topology, along with their linear nature, they struggle to represent complex full-head shapes. Following the advent of deep implicit functions, we propose imHead, a novel implicit 3DMM that not only models expressive 3D head avatars but also facilitates localized editing of the facial features. Previous methods directly divided the latent space into local components accompanied by an identity encoding to capture the global shape variations, leading to expensive latent sizes. In contrast, we retain a single compact identity space and introduce an intermediate region-specific latent representation to enable local edits. To train imHead, we curate a large-scale dataset of 4K distinct identities, making a step-towards large scale 3D head modeling. Under a series of experiments we demonstrate the expressive power of the proposed model to represent diverse identities and expressions outperforming previous approaches. Additionally, the proposed approach provides an interpretable solution for 3D face manipulation, allowing the user to make localized edits.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01