新着研究 / Generative AI / Computer Vision
ノイズ除去のたびに画像の特徴を予測し直すNEPA-DiT
NEPA-DiT
NEPA-DiTの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Multi-embedding prediction. From the condition and the noisy image, the model predicts the next embeddings in the sequence, those of the clean image. Supervision is applied in embedding space; the predicted embeddings then condition a diffusion generator.
概要
- ノイズ画像からきれいな画像の埋め込みを予測し、生成器の条件に使う。
- 条件を各ノイズ除去段階で更新し、固定したクラス埋め込みと比較する。
- ImageNet 256×256でFID1.32、REPAの約3分の1の学習計算量を報告した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、NEPA-DiTの仕組み
- 01条件とノイズ画像
- 02完成画像の特徴予測
- 03特徴条件でノイズ除去
- 04画像更新と再予測
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
NEPA-DiTは、画像生成の各段階で、完成画像の特徴を予測して生成器へ渡す。通常の拡散Transformerは、クラスや文章指示を最初に埋め込み、その条件をノイズ除去の反復中ずっと使う。
しかし、生成途中の画像は反復のたびに変わる。本研究は、現在のノイズ画像に合う予測特徴を条件として与え直すと、同じ指示を固定して使う場合より生成を助けられるかを検証する。
手法
NEPAは連続した埋め込みの次を予測するTransformerである。画像生成では、条件、ノイズ画像、きれいな画像の順に並べ、きれいな画像の全パッチ特徴を一度に予測するMulti-Embedding Predictionを学ぶ。埋め込みは画像の部分を数値ベクトルで表したものだ。
学習には同じ画像内の正しいパッチと他のパッチを区別するInfoNCEを使う。次に予測器を固定し、その出力を条件としてDiT生成器を学ぶ。例えばクラス指定の生成で、毎回のノイズ画像から予測特徴を計算し直し、それに基づいて次の画像状態を更新する。条件の接頭部分は画像へ依存しないため、反復間でキャッシュして再利用する。
新規性
外部の認識特徴を固定して与える代わりに、現在の生成状態から次のきれいな画像特徴を予測する点が中心だ。条件がノイズ除去に合わせて変わり、生成器はその適応的な信号を利用する。
予測器と生成器を分けることで、埋め込み予測の目的と生成目的を比較できる。認識の分類精度が高い特徴ほど生成にも良いとは限らないという分析も、学習目的の選択に関わる。
従来手法との違い
同じ生成器の条件を変えた比較では、クラス埋め込みだけでFID36.39、追加ネットワークを共同学習して29.52、フローマッチングで事前学習した固定特徴で30.86、MEPの予測特徴で25.04だった。
追加ネットワークを使う最後の３構成はパラメータと１手順の演算量を合わせ、学習目的の違いを見る。最終モデルはREPAによる特徴整合も組み合わせるため、最終成績を埋め込み予測だけの効果と読むことはできない。
実験結果
著者らはImageNet-1Kの256×256クラス条件生成で50,000標本のFIDを測る。最終NEPA-DiT-XL＋REPAは250手順SDEでFID1.32、96手順ODEで1.57を報告し、要旨ではREPAの約３分の１の学習計算量とする。
予測器240エポックと生成器80エポックを含む条件である。96手順ODEで予測特徴を最初だけ計算するとFID242.63、８手順ごとなら1.82、毎手順なら1.57となり、現在状態に応じた再予測の必要性が示された。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案は、特定クラスの検査用画像候補を効率よく生成する学習基盤だ。対象クラスと学習画像を入力し、状態に応じた予測特徴を利用する生成器から候補画像を出力する。
例えば製品種別の画像候補を作り、見た目の多様性と対象との対応を担当者が点検する。学習費用を抑える狙いで検討できるが、生成画像が検査モデルの改善に役立つかは別の下流評価で測る。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案では、クラス条件の小さな画像集合に限定する。固定クラス埋め込みを基準に、同じ生成器へ予測特徴を与える構成を比較し、FID、クラス一致、多様性、学習演算量を測る。
予測器の学習費用を必ず合算し、特徴を再計算する頻度ごとの品質と生成時間も記録する。生成候補を使う検査モデルの精度は実画像の未見集合で評価し、生成品質の改善と用途上の効果を分けて確認する。
限界と課題
著者らは各生成手順へ第２のネットワークが加わることを明示している。学習計算量が少なくても、１手順の生成費用が自動的に安くなるわけではなく、予測頻度との調整が必要になる。
編集上の確認事項は、高解像度や文章条件への一般化、対象データが少ない場合の特徴学習である。今回の主実験はクラス条件ImageNetであり、文章による複雑な画像生成へ同じ改善幅をそのまま適用する根拠にはならない。
出典
元のタイトル・要旨を確認する（英語）
Embedding Prediction Helps Image Generation
In diffusion transformers, a class label or a text prompt is embedded once, and the same condition is reused at every denoising step. We ask whether predicted embeddings can serve as this condition instead. Next-Embedding Predictive Autoregression (NEPA) trains a Transformer to predict the next continuous embedding in a sequence. In generation, the clean image follows the noisy image, so its embeddings are the next embeddings after the condition and the noisy image. We train a NEPA model to predict them all at once with Multi-Embedding Prediction, and in Embedding Conditioned Generation, a DiT generator is conditioned on these predictions, recomputed at every denoising step, so the conditioning signal adapts to the current noisy state. Experiments on class-conditional ImageNet $256\times256$ study the condition of the generator, the design of Multi-Embedding Prediction, and the scaling of both models. The NEPA model adds a second network to every sampling step; with it, and combined with REPA, our final model, NEPA-DiT-XL, reaches an FID of 1.32 using about a third of the training compute of REPA.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集：2026-10-04