アーカイブ / Generative AI
二つの指示文の潜在コードを統合して画像の属性を変えるAVI
Attribute Vector Integration
Attribute Vector Integrationの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Our framework overview for image editing. (1) During the denoising process, we select one time step T x T_{x} for introducing new attributes. (2) Two latent codes x T x x_{T_{x}} and z T x + Δ τ z_{T_{x}+\Delta\tau} , guided by a pair of text prompts, is fed into our proposed AVI algorithm. (3) The AVI outputs a latent code y p r e d y_{pred} to replace x T x x_{T_{x}} to continue the denoising process with the guidance of the original text prompt. Note that the SVD is performed channel-wise.
概要
- AVIは、二つの指示文から得た生成途中の潜在コードを特異値分解し、成分を統合して画像属性を編集する。
- 著者らは、特異ベクトルの並び順が生成時刻によって変わるという観察を編集手順に利用する。
- 30サンプルの時刻間の測地距離は報告されているが、確認できた本文の範囲では編集品質の比較数値は確認できない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Attribute Vector Integrationの仕組み
- 01元と目標の指示文
- 02異時刻の潜在コード
- 03成分の分解と統合
- 04ノイズ除去後の画像
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
AVIは、文章から画像を作る拡散モデルの生成途中にある潜在コードを操作し、元画像の内容を保ちながら指定した見た目を加える方法である。潜在コードとは、完成画像になる前の内部表現を指す。
拡散モデルはノイズを段階的に取り除いて画像を作る。その途中で成分の働きが変わるため、どの成分を操作すれば狙った属性だけを変えられるか分かりにくい。著者らは、この潜在コードを直接調べることを課題とした。
手法
AVIは、元の指示文と属性を加えた指示文から、異なる生成時刻の潜在コードを得る。各コードを画像の成分ごとに特異値分解する。これは、コードを成分の向きを表す特異ベクトルと、その重みを表す特異値に分ける計算である。例えば「男性の写真」と「若い男性の写真」を対にして、「若い」という属性を加える。
元側の主要なベクトルを残し、目標側のベクトルを逆順にして、比率を調整しながら統合する。MLP（複数の計算層を持つ小さなネットワーク）は元側のコードから統合成分の重みなどを予測し、目標属性と元の情報をともに表すよう学習する。統合後のコードで生成途中のコードを置き換え、元の指示文に従ってノイズ除去を続ける。
新規性
著者らの提案は、拡散モデル内部の特徴マップを補助的に使う代わりに、画像生成中の潜在コードを直接、特異値分解で調べて編集する点にある。成分の意味的な近さと、生成時刻による並び順の変化を統合処理に用いる。
属性の追加は生成途中の一時刻で行う。著者らは、一組の指示文に由来する潜在コードから属性を学び、別途の画像データ収集を要しないと説明している。
従来手法との違い
本文に挙がる既存法には、分類器による誘導、モデルの追加学習、U-Net内部の特徴マップを使う編集がある。著者らによれば、補助的な特徴空間を使う一部の方法では、データ収集や編集効果の人手による解釈が必要になる。
AVIは潜在コードを直接分解し、元と目標の指示文から得た成分を統合する。ただし、確認できた本文の範囲では、個々の既存法に対する編集品質や処理速度の比較値は確認できない。
実験結果
著者らはStable Diffusion 2.1で、生成時刻ごとに特異ベクトルが関わる属性を観察した。性別や姿勢などの大まかな属性は後の時刻、ベルトの質感などの細部は早い時刻に現れる例を示す。無条件生成モデルではCelebA-HQ、LSUN-Cat、LSUN-Churchなども調べた。
図5では30サンプルについて、成分が張る空間同士の隔たりを示す測地距離を時刻間で測定した。著者らは、LSUN-Cat、LSUN-Bedroom、LSUN-Churchで約0、CelebA-HQと「A photo of a celebrity.」を使ったStable Diffusion 2.1で約4.3×10⁻⁴と報告する。確認できた本文の範囲では、編集品質の評価指標や比較表は確認できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：架空の人物画像を作る工程で、「男性の写真」と「若い男性の写真」を入力し、元画像の姿勢や内容を保ちながら年齢の見た目を変えた候補画像を出力する。制作担当者が候補を確認して採否を決める。
必要な元データは二つの指示文と、それぞれから生成する潜在コードである。外部の学習画像、画像ごとの属性ラベル、センサー入力は想定しない。対象の表現に合わせて指示文、編集時刻、統合の設定を調整する必要があり、この用途での効果は未検証である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：架空の人物について、元の指示文だけで生成した画像を基準にする。同じ元の指示文と属性語を一つ加えた目標の指示文から潜在コードを作り、AVIの重み予測と統合を適用して画像を出す。指示文の組を複数用意し、基準画像と並べて確認する。
必要な学習入力は指示文の組から得る潜在コードで、外部の学習画像、画像ごとの正解ラベル、センサー入力は用意しない。適用先に合わせて指示文、編集時刻、統合の設定を調整する。担当者が属性の反映、姿勢と内容の保持、意図しない変化を別々に記録し、成功件数と失敗例を集計する。
限界と課題
著者らは、目標側に近づける最適化だけでは元の潜在コードの情報が失われ、元画像らしさが損なわれ得ると説明する。その対策として、元の潜在コードに近づける損失項も設けている。指示文や時刻によって、各特異ベクトルが担う属性を予測しにくいことも報告している。
編集上の検証事項は、指示文を変えたときの安定性、姿勢と内容の保持、意図しない属性変化である。確認できた本文の範囲では、編集品質の比較表や失敗頻度は確認できず、これらの対策が個別の用途で十分かは判断できない。
出典
元のタイトル・要旨を確認する（英語）
Exploring the latent space of diffusion models directly through singular value decomposition
Despite the groundbreaking success of diffusion models in generating high-fidelity images, their latent space remains relatively under-explored, even though it holds significant promise for enabling versatile and interpretable image editing capabilities. The complicated denoising trajectory and high dimensionality of the latent space make it extremely challenging to interpret. Existing methods mainly explore the feature space of U-Net in Diffusion Models (DMs) instead of the latent space itself. In contrast, we directly investigate the latent space via Singular Value Decomposition (SVD) and discover three useful properties that can be used to control generation results without the requirements of data collection and maintain identity fidelity generated images. Based on these properties, we propose a novel image editing framework that is capable of learning arbitrary attributes from one pair of latent codes destined by text prompts in Stable Diffusion Models. To validate our approach, extensive experiments are conducted to demonstrate its effectiveness and flexibility in image editing. We will release our codes soon to foster further research and applications in this area.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01