アーカイブ / Computer Vision / Generative AI
1枚の顔写真から別角度の頭部像を作る二つのエンコーダー
Dual Encoder GAN Inversion
Dual Encoder GAN Inversionの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: From a single input image (first column), our framework reconstructs 3D representation by inverting images into PanoHead’s latent space, which can be viewed in a 360-degree perspective.
概要
- 1枚の顔写真をPanoHeadの内部表現に変換し、別角度から見た頭部画像を描画する手法。
- 入力に写る部分と隠れた部分を二つのエンコーダーで分担し、三平面表現上で接合する。
- MEADの±60度評価で、著者らはLPIPS 0.223、ID 0.706、FID 47.207を報告した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Dual Encoder GAN Inversionの仕組み
- 01顔写真と撮影視点
- 02二つの特徴推定
- 03可視・遮蔽部を接合
- 04指定視点の頭部画像
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、1枚の顔写真を生成モデルの内部表現に変換し、別角度から見た頭部画像を作る。写真には後頭部や反対側の輪郭が写らない。入力の顔をよく再現できても、視点を変えると不自然な形や模様が現れることが課題になる。
GAN反転とは、写真を敵対的生成ネットワーク（GAN）が扱う数値表現へ変換する方法である。著者らは、正面付近に強い従来の基盤に代えて、全周囲の頭部画像を生成できるPanoHeadを用いた。
手法
二つのエンコーダーが同じ顔写真を読み、それぞれPanoHeadに渡す潜在コードと細部の特徴を推定する。潜在コードは生成画像を指定する内部の数値表現で、PanoHeadは三方向の面に特徴を配置した「三平面表現」を作る。一方のエンコーダーは入力と同じ視点の再現を重視し、もう一方は隠れた部分を別視点から見た際の自然さを重視して学習する。
入力視点の深度図とカメラ情報から見える領域を求め、見える部分には前者、隠れた部分には後者の特徴を使って接合する。学習時には、隠れた領域の特徴を選んで真偽を判定する識別器も用い、二つの出力がつながるようにする。例えば正面写真から頭部の特徴を推定し、指定した横方向や後方の視点で画像を描画する。
新規性
著者らの提案は、入力写真に写る部分の再現と、写らない部分の生成を二つのエンコーダーに分担させ、三平面特徴上で接合する点にある。単一画像から全周囲の頭部像を作る際に生じる、入力への忠実さと別視点の自然さの両立を狙う。
隠れた領域の特徴を選んで判定器に見せる学習方法も提案した。著者らは、遮蔽マスクを判定器に用いる点を新規性としている。
従来手法との違い
従来の顔画像向け反転エンコーダーの多くは、正面付近の生成を得意とするEG3Dを基盤にしていた。本手法は全周囲の頭部画像を生成できるPanoHeadを基盤とし、写真に写らない後頭部などの推定も対象にする。
著者らは比較手法もPanoHeadの内部表現への変換用に学習した。FFHQとLPFFを合わせた評価では、GOAEの入力視点でのL2とLPIPSは本手法より良く、IDは同値だった。一方、別視点のFIDは本手法のほうが低く、1件当たりの処理時間は長かった。
実験結果
著者らはFFHQとLPFFを合わせ、約14万枚を学習、約1.4万枚を検証に分け、CelebA-HQと複数視点のMEADも評価に用いた。FFHQとLPFFを合わせた評価では、入力視点のLPIPS（知覚的な画像差。低いほどよい）は本手法が0.10、GOAEが0.09だった。別視点画像の分布を比べるFID（低いほどよい）は、それぞれ65.44と168.96だった。
MEADでは正面画像を入力し、実写の正解画像がある±60度と±30度で比較した。著者らの報告では、±60度における本手法のLPIPSは0.223、顔の同一性を測るID（高いほどよい）は0.706、FIDは47.207で、表中の比較手法より各指標で良かった。別視点のFIDは、無作為に選んだ1000枚ずつの生成画像と実画像を用いる評価も行っている。表1の処理時間は1件0.37秒だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：本人の同意を得た顔写真から、映像制作で角度を変えて確認する頭部の試作画像を作る。背景を除いた写真と撮影視点を入力し、指定した角度の画像を出力して、髪や耳の見え方を担当者が確認する。
対象の人物像に合う顔画像の学習データ、撮影角度の記録、背景領域を除くためのラベルまたは確認手段を用意する。既存モデルで対象画像を試し、写真との違いや別角度の不自然さを見て、追加学習の要否を判断する。実際の本人の後頭部を再現できるとは想定しない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：同意を得た人物の正面写真と、同じ人物を横から撮った正解写真を少数そろえる。撮影角度のラベルを記録し、学習・評価に使う画像の背景領域を除くためのラベルまたは確認手順も用意する。深度やカメラ情報を得る工程を対象画像で確かめ、既存モデルのまま使えるか、対象データでの追加学習が要るかを判断する。
比較基準には、本文の切除実験にある入力視点の再現を重視した単一エンコーダーを置く。同じ入力と指定角度でLPIPS、ID、FID、処理時間を測り、耳と髪の境界も目視で確認する。別角度の正解写真がある範囲に限って、本人への一致を評価する。
限界と課題
著者らは、単一画像の学習データには入力と同じ視点の正解画像しかなく、隠れた部分を学習させにくいと説明する。また、偽画像への悪用を懸念として挙げている。限界節は確認できた本文の範囲では文の途中で終わっており、その後の指摘内容は特定できない。
編集上の検証事項は、別角度の画像が本人の実際の形や髪型とどこまで一致するかである。別角度の実写画像がなければ、見た目の自然さと本人への正確さを分けて評価しにくい。対象となる撮影条件や人物像が学習データと異なる場合の結果も確かめる必要がある。
出典
元のタイトル・要旨を確認する（英語）
Dual Encoder GAN Inversion for High-Fidelity 3D Head Reconstruction from Single Images
3D GAN inversion aims to project a single image into the latent space of a 3D Generative Adversarial Network (GAN), thereby achieving 3D geometry reconstruction. While there exist encoders that achieve good results in 3D GAN inversion, they are predominantly built on EG3D, which specializes in synthesizing near-frontal views and is limiting in synthesizing comprehensive 3D scenes from diverse viewpoints. In contrast to existing approaches, we propose a novel framework built on PanoHead, which excels in synthesizing images from a 360-degree perspective. To achieve realistic 3D modeling of the input image, we introduce a dual encoder system tailored for high-fidelity reconstruction and realistic generation from different viewpoints. Accompanying this, we propose a stitching framework on the triplane domain to get the best predictions from both. To achieve seamless stitching, both encoders must output consistent results despite being specialized for different tasks. For this reason, we carefully train these encoders using specialized losses, including an adversarial loss based on our novel occlusion-aware triplane discriminator. Experiments reveal that our approach surpasses the existing encoder training methods qualitatively and quantitatively. Please visit the project page: https://berkegokmen1.github.io/dual-enc-3d-gan-inv.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01