アーカイブ / Generative AI / Computer Vision
1枚の画像から物体と指定した属性を分けて学ぶ画像生成手法
CusConcept
CusConceptの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Customized concept decomposition. Our aim is to decompose the input image into the object concept and the attribute concepts along user-specified axes. Left : We consider each visual entity to be the composition of the “object” concept and multiple “attributes” defined along different attribute axes. Each disentangled concept, including the object and its attributes, has a domain, here simplified as one-dimensional probability distributions. Right : We illustrate the learning of concept embeddings in the 2D space. (a) The words are distributed in the embedding space (gray dots), with words along the same attribute axis marked with the same color, e.g . , pink for age. (b) The word embeddings are combined using a weighted sum, similar to finding the centroids (triangles) of the same color dots in the space. (c) The weighted sum embeddings are further fine-tuned into final concept embeddings, like moving from triangles to stars in the space.
概要
- 1枚の画像と利用者が指定する属性軸から、物体と属性を別々の概念表現として学ぶ。
- VAW-CZSL由来の56枚では、属性と物体を併用した生成のCLIP-Iが0.701で、正解名を使うTIαと同値だった。
- 定量評価は属性一つと物体一つの組合せに限られ、属性語の検索正答率はTIαを下回った。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、CusConceptの仕組み
- 01画像と指定軸
- 02軸別の候補語取得
- 03語の重み付き統合
- 04概念表現の共同調整
- 05指示文から画像生成
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
CusConceptは、1枚の画像に写る物体と、指定された属性を分けて表現する。属性軸とは「年齢」や「色」のように、どの観点から特徴を取り出すかを示す指定である。
同じ人物でも、年齢軸では「若い」、気分の軸では「楽しそう」と表せる。画像生成で物体と属性を別々に指定するには、画像からそれぞれの表現を学ぶ必要がある。著者らによれば、先行手法には利用者が軸を指定しにくいものや、扱える軸が限られるものがあった。
手法
画像と「年齢」などの属性軸を入力する。属性の候補語は大規模言語モデルへの問いかけで集める。物体の候補語は、画像と単語の対応を測るCLIPで絞り、名詞を選ぶ。例えば人物の画像なら、年齢を表す語群と物体を表す語群を別々に用意する。
次に、候補語の数値表現に学習した重みを付け、重みの高い語をまとめて物体用と属性用の初期表現を作る。これらは画像生成モデルへ単語として渡せる「トークン埋め込み」である。両方を一緒に調整し、文章の指示に入れて画像を生成する。生成の基盤には、雑音を段階的に除く拡散モデルを使う。
新規性
著者らが提案するのは、利用者が「年齢」「色」などの属性軸を自然言語で指定し、画像内の物体と、その軸に沿う属性を別々の単語表現として学ぶ課題と手法である。軸や候補語の範囲を事前に固定しない設定を扱う。
軸ごとの候補語から重み付きで初期表現を作り、物体と属性の表現をまとめて調整する。これにより、各表現を文章の指示に入れた画像生成に加え、重みを使った概念語の予測も行う。
従来手法との違い
比較対象は、画像の特徴を新しい単語の表現として学ぶTextual Inversionを、属性と物体の二つの表現向けに改変した手法である。TIαは両方の正解ラベルで表現を初期化し、TIβはその初期化をせずに直接学習する。
CusConceptは学習時に正解ラベルを使わず、指定された属性軸の語彙と画像に合う物体語から初期表現を作る。著者らは、正解ラベルを利用できるTIαを性能の緩やかな上限と位置付け、この二つの改変版と比較している。
実験結果
著者らはVAW-CZSLから集めた56枚を評価に用いた。正解ラベルには14属性、33物体、8属性軸が含まれる。定量評価は属性一つと物体一つに限り、生成画像と入力画像の類似度CLIP-I、正解ラベルの文章と初期表現の類似度SIMemb、候補語の検索正答率ACCを測った。
属性と物体を併用した生成のCLIP-IはCusConceptとTIαがともに0.701、TIβが0.458だった。属性のACCは順に0.411、0.964、0.000で、CusConceptは正解名を使うTIαを下回る。ACCの検索対象には、VAW-CZSLの全440属性と541物体を使っている。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：商品写真から「商品そのもの」と「色」を分け、色の指定を変えた確認用画像を作る試作が考えられる。入力は商品ごとの学習用写真1枚と担当者が指定する「色」という軸、出力は二つの概念表現、候補語、生成画像とする。
この用途では、学習時に正解の色名や商品名を与えず、評価用の正解ラベルを別に付ける。追加センサーは使わず、商品写真に合わせて候補語の取得方法と画像生成の指示文を調整し、担当者が元写真との整合性を確認する。実務での有効性は未検証である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：商品ごとに学習用写真1枚と指定する属性軸を用意する。商品名と属性名の正解ラベルは評価用に別途付け、学習には使わない。元写真を生成画像との照合用に残し、追加センサーは使わない。
候補語の取得と二段階の表現学習を試し、正解名で初期化しないTIβ型の二表現学習を比較基準にする。同じ写真と指示文で、候補語の正答率と物体・属性を併用した生成のCLIP-Iを測る。商品に合わない候補語が出る軸では、問いかけ方を調整し、再測定する。
限界と課題
著者らは、属性軸によっては現在の問いかけ方で大規模言語モデルから適切な候補語を得にくい場合があると述べる。また、示された定量評価は、元のデータセットに合わせて属性一つと物体一つの組合せを対象としている。
編集上の検証事項は、複数の属性軸を同時に指定した際に表現を使い分けられるか、商品写真でも候補語が妥当かという点である。1枚の画像から商品固有の特徴と撮影条件をどの程度区別できるかも、導入先の写真で確認する必要がある。
出典
元のタイトル・要旨を確認する（英語）
CusConcept: Customized Visual Concept Decomposition with Diffusion Models
Enabling generative models to decompose visual concepts from a single image is a complex and challenging problem. In this paper, we study a new and challenging task, customized concept decomposition, wherein the objective is to leverage diffusion models to decompose a single image and generate visual concepts from various perspectives. To address this challenge, we propose a two-stage framework, CusConcept (short for Customized Visual Concept Decomposition), to extract customized visual concept embedding vectors that can be embedded into prompts for text-to-image generation. In the first stage, CusConcept employs a vocabulary-guided concept decomposition mechanism to build vocabularies along human-specified conceptual axes. The decomposed concepts are obtained by retrieving corresponding vocabularies and learning anchor weights. In the second stage, joint concept refinement is performed to enhance the fidelity and quality of generated images. We further curate an evaluation benchmark for assessing the performance of the open-world concept decomposition task. Our approach can effectively generate high-quality images of the decomposed concepts and produce related lexical predictions as secondary outcomes. Extensive qualitative and quantitative experiments demonstrate the effectiveness of CusConcept.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01