アーカイブ / Generative AI
拡散モデルで多くの画像を混ぜると崩れる原因と、チャネル別平均による補正
Channel-wise mean adjustment
Channel-wise mean adjustmentの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Images generated from centroids of N N latents obtained from N N input images of ImageNet class “tree frog” for N = 2 , 8 , 32 , 48 , 64 , 96 N=2,8,32,48,64,96 . Top row: Linear interpolation. Middle row: Linear interpolation with fixed normalization. Bottom row: channel-wise mean adjustment (our suggested method).
概要
- 画像から得た潜在表現を多数混ぜると、全体の大きさを補正しても生成画像が崩れる場合がある。
- 著者らは、チャネルごとの小さな平均の偏りが補正時に増幅されると分析し、平均を分けてから残りの成分を補正した。
- ImageNet画像を用いた実験ではFIDとCLIP埋め込み距離の悪化が抑えられたが、入力数が十分に増えると提案法でも品質は低下した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Channel-wise mean adjustmentの仕組み
- 01入力画像
- 02DDIM逆変換
- 03チャネル平均分離
- 04残差の混合と補正
- 05生成画像
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、拡散モデルで複数の画像を混ぜて新しい画像を生成する際の崩れを扱う。拡散モデルはノイズから画像を作るモデルで、「潜在表現」はその処理で使う数値データを指す。元画像から潜在表現を求めて混ぜる操作は、画像間の変形や学習用画像の追加に関係する。
著者らは、混ぜる画像が増えると、潜在表現全体の大きさを整えても生成画像が崩れることを確認した。原因を調べ、入力数が多い場合にも使える補正方法を検討している。
手法
実験では、各入力画像をDDIM逆変換でノイズ側の潜在表現に戻す。これは画像生成の流れを逆向きにたどり、画像に対応する数値を求める操作である。次に、特徴の種類に当たる各チャネルで数値の空間平均を求め、平均と、それを引いた残りの成分に分ける。例えば同じクラスの画像を数枚混ぜるなら、各画像についてこの二つを計算する。
混合比に従ってチャネル平均を加重平均する。残りの成分も加重平均するが、こちらだけ大きさを固定の目標値、または入力成分の大きさの加重平均へ合わせる。両者を足した潜在表現を生成モデルへ渡して画像を得る。平均の偏りまで一緒に拡大しないようにする処理である。
新規性
著者らは、複数の画像から得た潜在表現を平均して大きさを戻すと、各チャネルに残る小さな偏りも増幅されると分析した。単純化したモデルでは、偏りの増幅は入力数の平方根にほぼ比例する。
その分析に基づき、チャネルごとの平均を取り分け、残りの成分だけ大きさを補正する方法を提案した。潜在表現を混ぜる処理に加えられる、比較的単純な補正である。
従来手法との違い
単純な線形補間では、潜在表現を平均すると大きさが縮み、生成画像の細部が乏しくなる。平均後に全体の大きさを固定値へ戻す方法や、入力の大きさの加重平均へ合わせる方法でも、入力数が増えると画像が崩れる例を著者らは示した。
提案法は、全体を一括して補正せず、チャネル平均を混ぜた後、平均を引いた成分だけを補正する。全チャネル共通の平均を分ける方法より、チャネル別に分ける方法の改善が図では大きい。固定値方式の指標が入力基準方式よりやや良い傾向も報告されたが、差は崩れによる差より小さい。
実験結果
著者らはImageNet画像を使い、Stable Diffusion 1.5と3.5で潜在表現の重心から生成した画像を調べた。図には入力数2、8、32、48、64、96の例と、入力数12で複数クラスを扱う例がある。比較対象は補正なし、全チャネル共通の平均による補正、チャネル別平均による補正などである。
指標はFIDとCLIP画像埋め込みのコサイン距離。後者は生成画像の特徴ベクトルを、同じクラスの全学習例の平均ベクトルと比べる。著者らによると、入力数の増加による指標の悪化はチャネル別補正で大きく抑えられ、両指標で同様の傾向が出た。確認できた本文の範囲では、各条件の指標値や実験設定の詳細は示されていない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：包装の外観検査に使う欠陥画像の候補を作る。同じ撮影条件で得た包装写真、欠陥種別のラベル、撮影に使うカメラの画像が必要になる。対象の画像を潜在表現へ変換できるよう、生成モデルと変換手順も検査対象に合わせて調整する。
同じ欠陥種別の画像を混ぜて候補画像を生成し、担当者が欠陥の形とラベルの整合を確認する。合格した画像だけを検査モデルの学習候補にする。製造画像での有効性や検査精度への効果は、論文が実証した結果ではない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：同じカメラ条件で撮った包装写真と欠陥ラベルを集め、生成に使う群と最終評価用の群を分ける。カメラ画像を潜在表現へ変換できるか確認し、必要なら対象の撮影条件に合わせて変換と生成の設定を調整する。
同じ入力画像、混合比、生成条件で、全体の大きさだけを補正する基準法とチャネル別補正を比べる。入力枚数ごとに崩れた画像の割合、FID、担当者が欠陥ラベルに合うと判定した割合を記録する。学習へ追加する場合は、同じ評価画像で検査モデルの判定結果も比較する。
限界と課題
著者らは、提案法でも入力数が十分に増えると品質指標が低下し、色が過度に鮮やかになることや細部の消失が見られると報告した。画像モーフィングや少数データでの学習支援への適用は、今後の研究課題としている。
編集上の検証事項：対象画像を潜在表現へ変換した際の再現性、混合画像が欠陥ラベルを保つか、学習に追加して検査精度が変わるかを調べる必要がある。確認できた本文の範囲では、製造画像での結果や図の各条件に対応する指標の具体値は分からない。
出典
元のタイトル・要旨を確認する（英語）
Addressing degeneracies in latent interpolation for diffusion models
There is an increasing interest in using image-generating diffusion models for deep data augmentation and image morphing. In this context, it is useful to interpolate between latents produced by inverting a set of input images, in order to generate new images representing some mixture of the inputs. We observe that such interpolation can easily lead to degenerate results when the number of inputs is large. We analyze the cause of this effect theoretically and experimentally, and suggest a suitable remedy. The suggested approach is a relatively simple normalization scheme that is easy to use whenever interpolation between latents is needed. We measure image quality using FID and CLIP embedding distance and show experimentally that baseline interpolation methods lead to a drop in quality metrics long before the degeneration issue is clearly visible. In contrast, our method significantly reduces the degeneration effect and leads to improved quality metrics also in non-degenerate situations.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01